六项评测已更新:查看评分依据 →
入门指南

可验证奖励(RLVR):把结果变成训练反馈

程序如何判断任务是否完成,以及可验证奖励能解决什么、还不能解决什么。

可验证奖励把任务结果交给明确的检查规则,再把检查结果转成训练信号。它减少了对主观评分的依赖,但规则本身是否完整、能否被绕过,仍然需要验证。

RLVR 是什么?

RLVR 指使用可验证奖励的强化学习。智能体提交答案、代码或方案后,由程序核验结果,并计算奖励。Tülu 3 和 DeepSeek-R1 等研究展示了这类训练方法在数学与编程任务中的用途。

与之不同,RLHF 通常根据人类偏好训练一个奖励模型,再用它预测输出的好坏。两种方法针对的信号不同,可以在同一训练流程中配合使用。

怎样把结果变成可检查的信号?

有标准答案的题目,可以直接核对;代码可以运行测试;数学或优化任务可以检查可执行解及证明。工作任务则需要把领域规则写进环境:例如交易按撮合规则结算,预测在真实事件结束后核验。

检查依据应当与智能体的自述分开。报告中写了‘已完成’,不是完成的证据;程序需要检查底层记录、实际输出与必要的过程条件。

核验结果,有哪些常见方法?

没有一种方法能覆盖所有工作。需要根据任务,组合终点检查、过程约束与独立参照。

  • 留存答案:由评分方保存测试答案,智能体运行时无法接触。
  • 可执行测试:运行代码或方案,检查它在测试条件下的行为。
  • 证明或证书:核验答案附带的证明,而不只相信结论。
  • 过程约束:检查权限、时间顺序、凭证和状态等要求是否全程满足。
  • 领域机制:执行市场、账务或其他业务规则,计算实际结果。
  • 真实事件:先锁定预测,再等待结果发生并统一结算。
  • 人类参照:在可比条件下衡量专家表现。参照帮助解释分数,本身并不替代程序核验。

语言模型评分,适合放在哪一层?

语言模型可以帮助理解开放文本、整理证据和处理难以形式化的判断,但它也可能受表达方式、提示注入或自身偏差影响。把模型给出的分数称作‘确定性核验’,会混淆两类方法。

一种可行组合是:模型先提取结构化信息,再由程序检查明确条件。不过,提取环节的错误仍会影响结果,应单独评估、记录并复核。对于目前必须借助人工或模型裁决的任务,应明确说明边界。

答案核对准确,就代表任务评分准确吗?

不一定。代码通过了有限测试,仍可能在其他输入上失败;最终余额正确,也可能是跳过合法流程或使用过期证据造成的。

可验证,说明某些条件可以检查;并不说明检查已经覆盖真实目标。验证器越容易成为训练目标,就越要防止智能体学会它的盲区。

接入训练前,先检查这五件事。

把奖励接口接进训练循环之前,应先把评分规则当作一个需要测试的软件系统。

  • 定义目标:哪些结果必须正确,哪些过程条件不可省略?
  • 控制成本:单次核验需要多久、多少资源,失败如何返回?
  • 主动找漏洞:用不作为、投机提交、证据复用等策略攻击评分器。
  • 隔离评测:答案、任务与数据访问权限分别管理。
  • 保留版本:每次改规则都记录原因、复测结果和受影响的历史分数。

真实工作没有答案表,怎么办?

很多工作并没有唯一答案。可以先确定可以独立检验的部分,再把业务机制、过程规则和最终结果结合起来。

例如,机器学习研究不要求所有人使用同一算法,但可以用同一测试数据评估提交;交易策略各不相同,但成交、持仓、费用与收益必须按同一口径计算。训练反馈的价值来自这些可检查的关系。

常见问答

RLVR 能完全代替 RLHF 吗?

不能简单替代。确定性检查适合有明确规则的任务,人类偏好仍可用于质量、风格和开放性目标。

模型充当裁判算可验证奖励吗?

通常不能把它等同于确定性程序核验。若两者结合,需要分别说明模型判断与规则检查各自负责什么。

验证器给了确定的分数,为什么还要做对抗测试?

同一个缺陷也可以稳定地产生错误分数。确定性保证重复性,不保证评分规则已经完整。

参考资料

相关内容:术语解释 · 常见问题