找出失效点,构建环境,核验工作。
把智能体容易出错的工作,变成可以练习和改进的任务。
从找到智能体在实际工作中出错的地方,到搭建可重放的环境、核对完整操作记录,再到上线前交付可审阅的证据,我们覆盖整个流程。
01 · 诊断
找到失效原因,建立独立测试集
找出智能体在具体工作流中出错的地方,再把每种失效转化为可评分任务。
- 由真正做过这项工作的专业人员设计任务,不让不了解业务的人凭想象标注。
- 每项任务都有可核对的判断依据,让分数指向具体问题,而不只是一个百分比。
- 交付可反复运行的任务集,方便比较不同模型版本及供应商。
02 · 仿真
构建环境和场景生成器
把工作流重建成智能体可以操作的有状态系统,并生成训练所需的多种任务变体。
- API、界面与 MCP 共用同一状态,既可训练工具调用,也可训练计算机操作。
- 环境可重置、可保存快照;失败的运行能从出错前一步重放。
- 描述一家公司的业务,就能生成未结事项、尚未完成的会计期间和存在差异的对账任务。
03 · 核验
验证器、不变量与对抗审计
直接核对任务记录。我们先攻击自有验证器,再公开哪些策略成功绕过了检查。
- 检查完整操作轨迹,而非只看最终状态;错误的操作也可能得到看似正确的结果。
- 需要专业判断的部分交由专家评分;能由规则判定的部分交给程序,两类结果分开记录。
- 每个验证器都附有失败案例、补上的约束和重新运行的结果。
逐层核验
L0 · 硬性不变量
有效状态下绝不可违反的等式或约束,由程序直接检查。
L1 · 业务正确性
核对期间、账户、交易对手和完整单据链。
L2 · 流程合规性
检查权限、自我审批、流程绕过和禁止的副作用,并以事件日志为准。
L3 · 专业判断
评估估计是否合理、假设是否成立;由专家单独评分。
证据
每一步都关联支持它的记录;缺少证据即视为未通过。
确定性
同一份操作记录重复评分,结果应当一致;否则需要修复验证器。
04 · 验收
进入生产环境前交付证据
给企业完整的核验材料:智能体做了什么,哪些操作原本不允许,以及结果如何复现。
- 记录每次工具调用及其造成的状态变化,违规操作和后果都可以查到。
- 用私有留出任务集覆盖企业重要的例外情况,避免与公开材料混用。
- 交付可逐项审阅的上线前报告,报告中的每次运行都能完整重放。
交付成果
同一环境,可交付多种训练与评测材料。
强化学习环境评测任务专家工作轨迹监督微调数据专家评分标准私有评测集