可验证奖励把任务结果交给明确的检查规则,再把检查结果转成训练信号。它减少了对主观评分的依赖,但规则本身是否完整、能否被绕过,仍然需要验证。
RLVR 是什么?
RLVR 指使用可验证奖励的强化学习。智能体提交答案、代码或方案后,由程序核验结果,并计算奖励。Tülu 3 和 DeepSeek-R1 等研究展示了这类训练方法在数学与编程任务中的用途。
与之不同,RLHF 通常根据人类偏好训练一个奖励模型,再用它预测输出的好坏。两种方法针对的信号不同,可以在同一训练流程中配合使用。
怎样把结果变成可检查的信号?
有标准答案的题目,可以直接核对;代码可以运行测试;数学或优化任务可以检查可执行解及证明。工作任务则需要把领域规则写进环境:例如交易按撮合规则结算,预测在真实事件结束后核验。
检查依据应当与智能体的自述分开。报告中写了‘已完成’,不是完成的证据;程序需要检查底层记录、实际输出与必要的过程条件。
核验结果,有哪些常见方法?
没有一种方法能覆盖所有工作。需要根据任务,组合终点检查、过程约束与独立参照。
- 留存答案:由评分方保存测试答案,智能体运行时无法接触。
- 可执行测试:运行代码或方案,检查它在测试条件下的行为。
- 证明或证书:核验答案附带的证明,而不只相信结论。
- 过程约束:检查权限、时间顺序、凭证和状态等要求是否全程满足。
- 领域机制:执行市场、账务或其他业务规则,计算实际结果。
- 真实事件:先锁定预测,再等待结果发生并统一结算。
- 人类参照:在可比条件下衡量专家表现。参照帮助解释分数,本身并不替代程序核验。
语言模型评分,适合放在哪一层?
语言模型可以帮助理解开放文本、整理证据和处理难以形式化的判断,但它也可能受表达方式、提示注入或自身偏差影响。把模型给出的分数称作‘确定性核验’,会混淆两类方法。
一种可行组合是:模型先提取结构化信息,再由程序检查明确条件。不过,提取环节的错误仍会影响结果,应单独评估、记录并复核。对于目前必须借助人工或模型裁决的任务,应明确说明边界。
答案核对准确,就代表任务评分准确吗?
不一定。代码通过了有限测试,仍可能在其他输入上失败;最终余额正确,也可能是跳过合法流程或使用过期证据造成的。
可验证,说明某些条件可以检查;并不说明检查已经覆盖真实目标。验证器越容易成为训练目标,就越要防止智能体学会它的盲区。
接入训练前,先检查这五件事。
把奖励接口接进训练循环之前,应先把评分规则当作一个需要测试的软件系统。
- 定义目标:哪些结果必须正确,哪些过程条件不可省略?
- 控制成本:单次核验需要多久、多少资源,失败如何返回?
- 主动找漏洞:用不作为、投机提交、证据复用等策略攻击评分器。
- 隔离评测:答案、任务与数据访问权限分别管理。
- 保留版本:每次改规则都记录原因、复测结果和受影响的历史分数。
真实工作没有答案表,怎么办?
很多工作并没有唯一答案。可以先确定可以独立检验的部分,再把业务机制、过程规则和最终结果结合起来。
例如,机器学习研究不要求所有人使用同一算法,但可以用同一测试数据评估提交;交易策略各不相同,但成交、持仓、费用与收益必须按同一口径计算。训练反馈的价值来自这些可检查的关系。
常见问答
RLVR 能完全代替 RLHF 吗?
不能简单替代。确定性检查适合有明确规则的任务,人类偏好仍可用于质量、风格和开放性目标。
模型充当裁判算可验证奖励吗?
通常不能把它等同于确定性程序核验。若两者结合,需要分别说明模型判断与规则检查各自负责什么。
验证器给了确定的分数,为什么还要做对抗测试?
同一个缺陷也可以稳定地产生错误分数。确定性保证重复性,不保证评分规则已经完整。