Insightful Beating Новости ИИ: После релиза GPT-6 Astra компанией OpenAI 3 сентября различные наборы данных для бенчмарков непрерывно корректировались. Некоторые изменения улучшили показатели Astra, в то время как оценки ряда конкурирующих моделей снизились, что вызвало обеспокоенность в сообществе ИИ по поводу «манипулирования лидербордами» и прозрачности оценки.

Примечательно, что уровень галлюцинаций Astra изначально был снижен с 4,2% до 2%, а затем возвращен к 4,2%, тогда как у GPT-5.6 Sol он упал с 12,2% до 9,4% перед тем, как вернуться к 12,2%. В математических тестах результат Fable 5.1 от Anthropic кратковременно снизился с 87,8% до 78%, после чего восстановился до 83%, в то время как показатели GPT-5.6 Sol колебались от 83% до 80,5% и обратно до 83%.

Кроме того, показатели Astra в тесте ARC-AGI-3 выросли с начальной предварительной оценки в 98,6% до финального значения на веб-странице в 99,99%, а оценка в тестах на программирование показала незначительный рост с 57,7% до 57,9%. В OpenAI заявили, что на результаты оценки могут влиять такие факторы, как версии моделей, конфигурации инструментов, уровни рассуждения и тестовые прогоны. Корректировки были внесены для того, чтобы данные более точно отражали оптимальную производительность модели.

Однако исследователи из Стэнфордского университета предупредили, что частая переоценка может быть связана с практикой, известной как «Benchmaxxing», при которой результаты бенчмарков максимизируются за счет подгонки условий тестирования. Отраслевые эксперты подчеркнули, что по мере усиления конкуренции среди моделей ИИ оценочные данные стали важнейшим инструментом для измерения возможностей моделей и их рыночной конкурентоспособности. Повышение прозрачности и воспроизводимости бенчмарк-тестирования становится все более важным центром внимания.