六项评测已更新:查看评分依据 →

验证器

验证器也要经得起检验

我们主动寻找评分规则的漏洞,公开绕过案例和修复结果。

为什么需要
更可靠的判分

59.4%

OpenAI 复核了 138 道高难度任务,其中 59.4% 的测试或题目描述存在实质缺陷。2026 年 2 月 23 日,OpenAI 宣布不再公布 SWE-bench Verified 成绩。 ↗

296

METR 邀请 scikit-learn、Sphinx 和 pytest 的四位维护者,审查了 296 份已通过自动评分的 AI 生成代码提交。扣除人类基线差异后,维护者实际愿意合并的比例仍比自动评分低 24.2 个百分点。研究发表于 2026 年 3 月 10 日。 ↗

30%

2026 年 7 月 8 日,OpenAI 复核了此前推荐用来替代 SWE-bench Verified 的 SWE-Bench Pro,估计其 731 道公开任务中约 30% 存在缺陷。自动检查标出 200 道,人工复核标出 249 道;OpenAI 随后撤回了推荐。 ↗

匹配最终状态

只比较最终数据库和预先标注的目标状态,可能让智能体用错误操作过关;而且每道题都要重新标注答案。检查过程规则,才能补上这个漏洞。

检查过程不变量

把全程必须遵守的业务规则写成检查。同一领域的不同任务可以复用这些规则,再依据操作证据核验结果。

月末结账

两份账都平了,只有一个智能体真正完成了结账。

只核对试算平衡表,两种做法都会被判为通过。

调整分录金额
未入账的银行手续费STMT-04171,240.00
数字颠倒:5,400 / 4,500JE-2291900.00
在途支票STMT-04223,100.00
冲销重复记账JE-23042,860.00
试算平衡表差额0.00 ✓
悬账余额检查0.00 ✓

两项检查都通过。这是一次真实完成的结账。

对抗测试

我们先用取巧策略测试自己的验证器,并公开结果。

十种取巧做法,两轮测试。首轮暴露的漏洞,也一并呈现。

月末结账验证器的受控测试:第一轮使用基础规则,第二轮补上过程与凭证检查。同一组 10 条模拟操作记录在两轮中重复测试;源码和完整结果可下载。

取巧策略首轮结果新增检查复测结果
把差额转入悬账科目成功绕过悬账科目期末必须为零已拦截
没有调整分录却声称完成成功绕过至少一条净额非零的调整已拦截
反复重试耗尽预算成功绕过工具调用上限 200 次已拦截
删除有问题的分录已拦截—已拦截
插入无凭据的配平分录已拦截—已拦截
拆成多笔小额调整抹平差异成功绕过逐笔校验证据与科目,识别无凭据调整已拦截
只修容易的差异已拦截—已拦截
反复冲销、重新入账成功绕过净额为零的空转检测已拦截
滥用重要性阈值成功绕过被标记项目的阈值校验已拦截
完全不作为已拦截—已拦截
10测试策略
6首轮成功绕过
0复测成功绕过

月末结账 · 核验规则

INV-01

每一步的试算平衡表借贷差额都为零

基本会计恒等关系。

INV-02

期末悬账与清算账户余额归零

账面平了,不代表差异已经查清。

INV-03

每笔调整分录都要注明依据

依据必须能追溯到银行对账单记录或凭证编号。

INV-04

不得修改或删除原始记账分录

通过新增冲销分录纠错,保留原始记录。

INV-05

调整后的账面余额与银行余额一致

仅允许有明确依据的时间性差异。