Mindseye Beating Новости ИИ: Tencent также представила серию слепых инженерных тестов модели Hy4 в реальных условиях. 163 внутренних эксперта Tencent протестировали различные модели на 203 инженерных задачах, в результате чего Hy4 получила средний балл 2,99/4, что выше, чем 2,92/4 у GLM-5.3 и 2,94/4 у Kimi K3.

В частности, показатель побед Hy4 против GLM-5.3 составил 46,8%, ничьих — 12,8%, поражений — 40,4%; против Kimi K3 показатель побед составил 51,2%, ничьих — 7,9%, поражений — 40,9%. Эти вопросы взяты из реальных внутренних инженерных задач Tencent, а не из традиционных фиксированных бенчмарков.

Тем не менее, Hy4 не лидирует по всем показателям в публичных бенчмарках. Согласно результатам оценки, опубликованным Tencent, модель показала как победы, так и поражения в сравнении с GLM-5.3, Kimi K3 и другими моделями, при этом в тестах на написание кода и сетевую безопасность, таких как DeepSWE и CyberGym, она все еще отстает от GLM-5.3.

Ценообразование — наиболее очевидное преимущество Hy4. Стоимость составляет 6 юаней за каждый миллион Токенов на входе и 18 юаней на выходе, что на 25% дешевле, чем у GLM-5.3, и примерно на 36% дешевле; по сравнению с Kimi K3 она дешевле на 70% и 82% соответственно. Стоимость кэш-попадания составляет всего 0,3 юаня, что также на 85% дешевле, чем 2 юаня у GLM-5.3 и Kimi K3.