让AI迁移整个代码库,94.6%没过关:20项任务13项无人做成
- OPUS0%
动察 Beating AI 快讯,AI Agent 公司 Einsia 发布 SWE Refactor Bench,专门测 Coding Agent 能不能自己迁移整个代码库。20 个任务来自 SQLite、zlib、libsodium、GraphHopper 等真实项目,包括 C 改 Rust、Maven 改 Gradle、SQLite 移植到 WASI。每项给 Agent 6~30 小时。
评测第一关检查旧技术栈是不是真的被替掉,防止 Agent 留着旧代码混过去;第二关跑超过 13 万项固定检查;最后再派 6 个独立 Coding Agent,各花 1 小时专门找隐藏 bug。
8 个前沿模型、26 种配置一共跑了 520 次。340 次确实完成迁移,88 次把预先准备的测试全部跑绿,但其中 60 次又被最后一轮找出了隐藏 bug。最终只有 28 次完全过关,通过率 5.4%;20 个任务里有 13 个没人做成。Claude Opus 5 的 xhigh 配置最好,20 个任务完整通过 5 个。
现在的 Coding Agent 已经能大规模改代码,但要做到「整个系统改完还能完全不出错」,还差得很远。
来源:BlockBeats
免责声明:当前内容均来自第三方观点或由AI直接翻译第三方观点,CoinEx不保证内容的真实性、准确性和原创性,不构成CoinEx相关的任何投资建议。数字资产价格波动剧烈,请注意潜在风险。
热搜榜
- 币种价格24H涨跌