Dynamic Vision Beating AI-рассылка: Tencent выпустила превью-версию Hy4 с новой моделью, использующей архитектуру MoE. Общее количество параметров составляет 770 миллиардов, из которых 49 миллиардов активируются при каждом выводе, а контекстное окно расширено до 1 миллиона токенов. По сравнению с Hy3, имевшей 295 миллиардов общих параметров, 21 миллиард активных параметров и контекст 256K, масштаб этого поколения увеличился вдвое, а объем контекста вырос примерно в 4 раза.

В этот раз Tencent сделала акцент не только на общих бенчмарках, но и целенаправленно усилила возможности модели в реальных задачах, таких как программирование, офисная работа, игры и исследования. Например, модель может с нуля создать 3D-сайт на Three.js, разработать играбельные демоверсии игр в Unity и обработать 72 финансовых документа одновременно для выявления дубликатов возмещений, превышений лимитов и бюджетных аномалий. Hy4 также обучается и совершенствуется с помощью таких продуктов Tencent, как WorkBuddy и CodeBuddy.

Особо уникальным аспектом является то, что Hy4 начала участвовать в собственных исследованиях и разработках (R&D). В Tencent заявили, что модель помогает оптимизировать методы обучения, стратегии работы с данными, системы оценки и базовые операторы, предлагая решения, проводя эксперименты и корректируя их на основе полученных результатов. Сгенерированный в ходе экспериментов код, логи и обратная связь поступают в следующий цикл R&D, формируя начальный этап самосовершенствования.

Превью-версия Hy4 была интегрирована в WorkBuddy, CodeBuddy, Yuanbao, ima, Tencent Cloud TokenHub и OpenRouter. Ранее Tencent намекала в своем финансовом отчете, что Hy4 будет масштабнее Hy3 и что обратная связь от реальных продуктов станет ключевым источником для обучения модели.