验证器
验证器也要经得起检验
我们主动寻找评分规则的漏洞,公开绕过案例和修复结果。
为什么需要
更可靠的判分
OpenAI 复核了 138 道高难度任务,其中 59.4% 的测试或题目描述存在实质缺陷。2026 年 2 月 23 日,OpenAI 宣布不再公布 SWE-bench Verified 成绩。 ↗
METR 邀请 scikit-learn、Sphinx 和 pytest 的四位维护者,审查了 296 份已通过自动评分的 AI 生成代码提交。扣除人类基线差异后,维护者实际愿意合并的比例仍比自动评分低 24.2 个百分点。研究发表于 2026 年 3 月 10 日。 ↗
2026 年 7 月 8 日,OpenAI 复核了此前推荐用来替代 SWE-bench Verified 的 SWE-Bench Pro,估计其 731 道公开任务中约 30% 存在缺陷。自动检查标出 200 道,人工复核标出 249 道;OpenAI 随后撤回了推荐。 ↗
匹配最终状态
只比较最终数据库和预先标注的目标状态,可能让智能体用错误操作过关;而且每道题都要重新标注答案。检查过程规则,才能补上这个漏洞。
检查过程不变量
把全程必须遵守的业务规则写成检查。同一领域的不同任务可以复用这些规则,再依据操作证据核验结果。
月末结账
两份账都平了,只有一个智能体真正完成了结账。
只核对试算平衡表,两种做法都会被判为通过。
两项检查都通过。这是一次真实完成的结账。
对抗测试
我们先用取巧策略测试自己的验证器,并公开结果。
十种取巧做法,两轮测试。首轮暴露的漏洞,也一并呈现。
月末结账验证器的受控测试:第一轮使用基础规则,第二轮补上过程与凭证检查。同一组 10 条模拟操作记录在两轮中重复测试;源码和完整结果可下载。
| 取巧策略 | 首轮结果 | 新增检查 | 复测结果 |
|---|---|---|---|
| 把差额转入悬账科目 | 成功绕过 | 悬账科目期末必须为零 | 已拦截 |
| 没有调整分录却声称完成 | 成功绕过 | 至少一条净额非零的调整 | 已拦截 |
| 反复重试耗尽预算 | 成功绕过 | 工具调用上限 200 次 | 已拦截 |
| 删除有问题的分录 | 已拦截 | — | 已拦截 |
| 插入无凭据的配平分录 | 已拦截 | — | 已拦截 |
| 拆成多笔小额调整抹平差异 | 成功绕过 | 逐笔校验证据与科目,识别无凭据调整 | 已拦截 |
| 只修容易的差异 | 已拦截 | — | 已拦截 |
| 反复冲销、重新入账 | 成功绕过 | 净额为零的空转检测 | 已拦截 |
| 滥用重要性阈值 | 成功绕过 | 被标记项目的阈值校验 | 已拦截 |
| 完全不作为 | 已拦截 | — | 已拦截 |
月末结账 · 核验规则
每一步的试算平衡表借贷差额都为零
基本会计恒等关系。
期末悬账与清算账户余额归零
账面平了,不代表差异已经查清。
每笔调整分录都要注明依据
依据必须能追溯到银行对账单记录或凭证编号。
不得修改或删除原始记账分录
通过新增冲销分录纠错,保留原始记录。
调整后的账面余额与银行余额一致
仅允许有明确依据的时间性差异。