入门指南 · 参考
术语解释
34 个常用概念,按环境、训练、评分与数据整理。中文解释为主,英文术语便于对照。
共 39 个词条
环境与交互
- 动作空间Action space
- 智能体被允许执行的全部操作。对于语言模型智能体,通常表现为一组工具及其参数要求。
- 一轮任务Episode
- 从环境重置开始,到成功、失败或其他结束条件的一次完整尝试。
- Gymnasium 接口Gymnasium API
- 常用的强化学习环境接口。reset() 开始一轮,step(action) 执行动作并返回观察、奖励、结束标记及附加信息。
- 多步骤任务Long-horizon task
- 需要多次决策和工具调用的任务。早期选择会影响后续条件,错误也可能逐步累积。
- 观察Observation
- 某一步允许智能体看到的环境信息。它通常只是完整状态的一部分。
- 强化学习环境RL environment
- 智能体能够观察、行动并获得反馈的任务系统,包含状态、观察、动作、转移规则与奖励。
- 状态State
- 环境在某一时刻的完整情况,包含智能体能够看到和不能看到的信息。
- 工具调用Tool call
- 智能体带参数发起的结构化操作,例如查询数据、运行代码或提交业务记录。
- 任务世界World
- 围绕一类真实工作构建的可交互任务环境,连同验证器、任务和真人参照一起,供智能体练习与评测。
评分与安全
- 对抗测试Adversarial audit
- 主动尝试让验证器接受本应失败的结果,记录成功绕过的策略,修复后再次测试。
- 取巧策略Degenerate strategy
- 通过不行动、复用旧证据、耗尽预算等方式得分,却没有完成实际任务。常用于测试验证器。
- Goodhart 定律Goodhart’s law
- 当一个衡量指标被持续当作优化目标时,它可能失去原有的衡量价值。奖励漏洞常体现这一问题。
- 语言模型裁判LLM-as-judge
- 用语言模型判断其他输出的质量。它较灵活,但可能受到表达方式、提示注入和模型偏差影响。
- 基于领域机制的验证器Mechanistic verifier
- 执行撮合、账务或证明检查等领域规则来判定结果,核验依据来自机制,而非主观评价。
- 过程不变量Process invariant
- 在流程每一步都必须成立的规则,用来发现终点看似正确、过程却违规的操作。
- 奖励黑客Reward hacking
- 利用评分机制的缺陷获得高分,却没有完成预期任务。中文也可按语境称为奖励漏洞利用。
- 结果结算Settlement
- 按照预先规定的领域规则确定最终结果,例如按成交、费用与持仓计算交易表现。
- 目标投机Specification gaming
- 满足目标的字面要求,却偏离设计者希望实现的实际结果。与奖励黑客高度相关。
- 验证器Verifier
- 依据结果与必要的过程条件判定任务表现、计算分数的组件。使用前需要测试它的正常行为与取巧漏洞。
- 可核验证明Certificate
- 可供程序快速核验的证据,例如满足约束的方案,或说明问题无解的证明。优化任务可据此自动评分。
评测与数据
- 评测基准Benchmark
- 用约定的任务与评分规则比较系统表现。它的可信度依赖任务质量、评测隔离和一致的运行条件。
- 评测污染Contamination
- 评测任务或答案进入训练数据,导致分数部分反映记忆,而非在未见任务上的能力。
- 专家轨迹Expert trajectory
- 专业人员完成任务的过程记录,包括操作、判断依据、失误和修正,可作为训练材料与能力参照。
- 留存评测集Held-out split
- 与训练数据隔离、仅用于评测的任务集合。相关答案和敏感信息也需要隔离。
- 人类基线Human baseline
- 人类在相同任务与可比条件下的表现,用来解释模型分数。应说明参与者、样本量、时间与资源限制。
- 结果数据Outcome data
- 环境运行中产生的决策、失误、补救和核验结果记录,可用于训练、分析与复核。
- 评测饱和Saturation
- 强模型的分数接近上限,评测已难以区分它们的能力差异。
- 轨迹Trajectory
- 一轮任务中按时间排列的观察、行动与奖励记录。
- 真人基准Human bar
- 在同一任务、同一规则下,人类优秀策略所达到的分数。Xitadel-QuantBench 将该参照分设为 80。
训练与奖励
- 策略Policy
- 智能体选择行动的方法。对于语言模型智能体,行为受模型、提示、工具与运行设置共同影响。
- 强化学习Reinforcement learning
- 让智能体通过行动获取反馈,再调整策略以提高预期奖励的学习方法。
- 奖励Reward
- 环境根据智能体表现返回的数值反馈,也是强化学习持续优化的信号。
- 奖励模型Reward model
- 根据训练数据预测输出质量或偏好分数的模型,常用于基于人类反馈的强化学习。
- 基于人类反馈的强化学习RLHF
- 利用人类反馈,通常是偏好判断,学习奖励信号,再用其优化策略的方法。
- 使用可验证奖励的强化学习RLVR
- 用答案核对、测试或其他程序检查计算奖励,并据此训练策略的方法。
- 轨迹采集Rollout
- 运行策略与环境交互,生成一轮任务记录的过程;训练时通常会并行采集许多轮。
- 可验证奖励Verifiable reward
- 能够依据明确规则,通过程序核验计算的奖励。可验证不代表规则已经覆盖所有任务要求。
业务场景
- 暂记账户Suspense account
- 用于暂放尚未查明归属款项的账户。结账时应查清并清零;留下余额说明仍有差异未解决。
- 试算平衡表Trial balance
- 列出各账户借贷余额的报表。借贷合计相等只能说明数字平衡,不能证明每笔业务都处理正确。