Động sát Beating Tin nhanh AI, công ty AI Agent Einsia phát hành SWE Refactor Bench, chuyên kiểm tra xem Coding Agent có thể tự di chuyển toàn bộ mã nguồn hay không. 20 nhiệm vụ đến từ các dự án thực tế như SQLite, zlib, libsodium, GraphHopper, bao gồm chuyển từ C sang Rust, Maven sang Gradle, SQLite sang WASI. Mỗi nhiệm vụ cho Agent từ 6 đến 30 giờ.

Vòng đánh giá đầu tiên kiểm tra xem công nghệ cũ có thực sự được thay thế hay không, ngăn Agent giữ lại mã cũ để qua mặt; vòng thứ hai chạy hơn 130.000 bài kiểm tra cố định; cuối cùng cử 6 Coding Agent độc lập, mỗi cái dành 1 giờ để chuyên tìm lỗi ẩn.

8 mô hình tiên tiến, 26 cấu hình tổng cộng chạy 520 lần. 340 lần thực sự hoàn thành di chuyển, 88 lần vượt qua tất cả bài kiểm tra chuẩn bị trước, nhưng trong đó 60 lần lại bị vòng cuối phát hiện lỗi ẩn. Cuối cùng chỉ có 28 lần hoàn toàn vượt qua, tỷ lệ thành công 5,4%; trong 20 nhiệm vụ có 13 nhiệm vụ không ai làm được. Cấu hình xhigh của Claude Opus 5 là tốt nhất, hoàn thành đầy đủ 5 trong 20 nhiệm vụ.

Coding Agent hiện tại đã có thể thay đổi mã nguồn trên quy mô lớn, nhưng để đạt được "thay đổi toàn bộ hệ thống mà vẫn hoàn toàn không sai sót", vẫn còn rất xa.