验证器如何被绕过?查看我们的对抗测试方法 →

草稿 · 待发布

把绕过验证器的策略公开出来

一份可复现的对抗报告,应当让失败清楚可见。

验证器也需要自己的评测

智能体可能利用缺失的约束,在满足字面目标的同时把事情做错。测试应包含不执行操作、重复使用过期证据、耗尽预算,以及提交表面正确的输出等策略。

记录修复前后发生了什么

保留策略、验证器版本、新增检查与重新运行的结果。某个案例被拦截,只能说明该检查对这个案例有效,不能证明未来所有攻击都会失败。

区分机制说明与实测结果

示意表用于解释原理;实测报告必须有可执行案例、任务种子和运行日志。两者应当明确标注,读者才能知道哪些结论可以复现。

本文为草稿,生产环境的对抗评测结果尚未发布。