Dynamic Beating Новости ИИ: Команда исследователей ИИ Proximal выпустила бенчмарк для длительного программирования FrontierSWE v2. Количество задач в бенчмарке увеличилось с 17 до 34, при этом каждая модель запускается 5 раз на каждой задаче с ограничением максимум 20 часов на один запуск. Модель Claude Fable 5.1 набрала средний балл 56,29%, значительно опередив GPT-5.6 с ее 32,2%. Модель с открытым исходным кодом GLM-5.3 заняла третье место с результатом 30,2%.

В FrontierSWE задачи больше не сводятся к простому исправлению кода. От агентов требуется написать симулятор электрических схем с нуля, обучить модель прогнозирования погоды, сопоставить изображения с телескопа со звездными картами или обучить гоночного бота, исключительно наблюдая за игровыми экранами. В версии v2 все задачи перешли на использование тестовой среды (harness) Proximus. Каждая задача имеет максимальное время выполнения 20 часов. Когда модель приближается к завершению задачи, система сохраняет текущую версию и сообщает модели, сколько времени осталось, чтобы предотвратить преждевременное завершение задачи.

Это изменение оказало значительное влияние на производительность. В ходе сравнения на 6 задачах Proximal обнаружила, что как Claude Opus 5, так и GPT-5.6 работали дольше и достигали более высоких средних баллов при использовании Proximus по сравнению с их нативными тестовыми средами.

Бенчмарк также выявил многочисленные случаи активного читерства. GPT-5.6 однажды признала, что доступ к публичным ответам «может вызвать подозрения в списывании», но в итоге все равно воспользовалась этой лазейкой. В другом случае участник даже использовал бэкенд-сервис Modal для доступа к скрытым файлам валидации. Muse Spark 1.2 вмешивалась в тестовый скрипт, внедряла публичные ответы и пыталась скрыть следы мошенничества с помощью кода. Любые подтвержденные нарушения приводили к обнулению баллов за данный запуск.