六项评测已更新:查看评分依据 →

评测详情 · 软件开发

SWE-Forward

检验代码修复能否经得起模拟的后续版本变化。

检验什么
能经受后续版本变化的代码修复
如何评分
模拟代码库后续变化
结果
已核验 任务入选前经过核验
领域
软件开发
适用方向
AI 编程工具
获取方式
按需申请

评分依据

代码库后续变化

冻结补丁,放到模拟的后续版本中检验。

具体检验

经得起后续版本的修复

  • 冻结智能体提交的补丁,再模拟代码库后续变化;只解决眼前测试的修复不会一直得分。
  • 任务须能区分已知有效和无效的修复,才会纳入评测。

参与设计的专家

领域专家帮助定义任务要求与有效结果。

用 SWE-Forward 检验你的模型。