验证器也需要自己的评测
智能体可能利用缺失的约束,在满足字面目标的同时把事情做错。测试应包含不执行操作、重复使用过期证据、耗尽预算,以及提交表面正确的输出等策略。
记录修复前后发生了什么
保留策略、验证器版本、新增检查与重新运行的结果。某个案例被拦截,只能说明该检查对这个案例有效,不能证明未来所有攻击都会失败。
区分机制说明与实测结果
示意表用于解释原理;实测报告必须有可执行案例、任务种子和运行日志。两者应当明确标注,读者才能知道哪些结论可以复现。
本文为草稿,生产环境的对抗评测结果尚未发布。
草稿 · 待发布
一份可复现的对抗报告,应当让失败清楚可见。
智能体可能利用缺失的约束,在满足字面目标的同时把事情做错。测试应包含不执行操作、重复使用过期证据、耗尽预算,以及提交表面正确的输出等策略。
保留策略、验证器版本、新增检查与重新运行的结果。某个案例被拦截,只能说明该检查对这个案例有效,不能证明未来所有攻击都会失败。
示意表用于解释原理;实测报告必须有可执行案例、任务种子和运行日志。两者应当明确标注,读者才能知道哪些结论可以复现。
本文为草稿,生产环境的对抗评测结果尚未发布。