Dynamic Beating Новости ИИ: компания-разработчик ИИ-агентов Einsia выпустила SWE Refactor Bench, специально предназначенный для тестирования способности кодинг-агента автономно выполнять рефакторинг всей кодовой базы. Бенчмарк состоит из 20 задач из реальных проектов, таких как SQLite, zlib, libsodium и GraphHopper, и включает в себя такие задачи, как перевод с C на Rust, миграция с Maven на Gradle и портирование SQLite на WASI. На выполнение каждой задачи отводилось от 6 до 30 ч.

На первом этапе оценки проверяется, действительно ли старый технологический стек был заменен, чтобы предотвратить перенос агентом устаревшего кода. На втором этапе выполняется более 130 000 проверок исправлений. Наконец, развертываются 6 независимых кодинг-агентов, каждый из которых тратит 1 ч на целенаправленный поиск скрытых ошибок.

Всего было проведено 520 запусков с использованием 8 передовых моделей и 26 конфигураций. Из них 340 запусков успешно завершили миграцию, при этом 88 запусков прошли все заранее определенные тесты. Однако в 60 случаях на финальном этапе были обнаружены скрытые ошибки. Только 28 запусков успешно прошли все стадии, что привело к показателю успешности в 5,4%. Из 20 задач 13 остались незавершенными. Конфигурация xhigh модели Claude Opus 5 показала наилучший результат, выполнив все 20 задач.

Текущие кодинг-агенты уже способны выполнять крупномасштабные модификации кода. Однако достижение состояния, при котором «вся система модифицируется без каких-либо ошибок», все еще остается далекой целью.