六项评测已更新:查看评分依据 →

入门指南 · 参考

术语解释

34 个常用概念,按环境、训练、评分与数据整理。中文解释为主,英文术语便于对照。

共 39 个词条

环境与交互

动作空间Action space
智能体被允许执行的全部操作。对于语言模型智能体,通常表现为一组工具及其参数要求。
一轮任务Episode
从环境重置开始,到成功、失败或其他结束条件的一次完整尝试。
Gymnasium 接口Gymnasium API
常用的强化学习环境接口。reset() 开始一轮,step(action) 执行动作并返回观察、奖励、结束标记及附加信息。
多步骤任务Long-horizon task
需要多次决策和工具调用的任务。早期选择会影响后续条件,错误也可能逐步累积。
观察Observation
某一步允许智能体看到的环境信息。它通常只是完整状态的一部分。
强化学习环境RL environment
智能体能够观察、行动并获得反馈的任务系统,包含状态、观察、动作、转移规则与奖励。
状态State
环境在某一时刻的完整情况,包含智能体能够看到和不能看到的信息。
工具调用Tool call
智能体带参数发起的结构化操作,例如查询数据、运行代码或提交业务记录。
任务世界World
围绕一类真实工作构建的可交互任务环境,连同验证器、任务和真人参照一起,供智能体练习与评测。

评分与安全

对抗测试Adversarial audit
主动尝试让验证器接受本应失败的结果,记录成功绕过的策略,修复后再次测试。
取巧策略Degenerate strategy
通过不行动、复用旧证据、耗尽预算等方式得分,却没有完成实际任务。常用于测试验证器。
Goodhart 定律Goodhart’s law
当一个衡量指标被持续当作优化目标时,它可能失去原有的衡量价值。奖励漏洞常体现这一问题。
语言模型裁判LLM-as-judge
用语言模型判断其他输出的质量。它较灵活,但可能受到表达方式、提示注入和模型偏差影响。
基于领域机制的验证器Mechanistic verifier
执行撮合、账务或证明检查等领域规则来判定结果,核验依据来自机制,而非主观评价。
过程不变量Process invariant
在流程每一步都必须成立的规则,用来发现终点看似正确、过程却违规的操作。
奖励黑客Reward hacking
利用评分机制的缺陷获得高分,却没有完成预期任务。中文也可按语境称为奖励漏洞利用。
结果结算Settlement
按照预先规定的领域规则确定最终结果,例如按成交、费用与持仓计算交易表现。
目标投机Specification gaming
满足目标的字面要求,却偏离设计者希望实现的实际结果。与奖励黑客高度相关。
验证器Verifier
依据结果与必要的过程条件判定任务表现、计算分数的组件。使用前需要测试它的正常行为与取巧漏洞。
可核验证明Certificate
可供程序快速核验的证据,例如满足约束的方案,或说明问题无解的证明。优化任务可据此自动评分。

评测与数据

评测基准Benchmark
用约定的任务与评分规则比较系统表现。它的可信度依赖任务质量、评测隔离和一致的运行条件。
评测污染Contamination
评测任务或答案进入训练数据,导致分数部分反映记忆,而非在未见任务上的能力。
专家轨迹Expert trajectory
专业人员完成任务的过程记录,包括操作、判断依据、失误和修正,可作为训练材料与能力参照。
留存评测集Held-out split
与训练数据隔离、仅用于评测的任务集合。相关答案和敏感信息也需要隔离。
人类基线Human baseline
人类在相同任务与可比条件下的表现,用来解释模型分数。应说明参与者、样本量、时间与资源限制。
结果数据Outcome data
环境运行中产生的决策、失误、补救和核验结果记录,可用于训练、分析与复核。
评测饱和Saturation
强模型的分数接近上限,评测已难以区分它们的能力差异。
轨迹Trajectory
一轮任务中按时间排列的观察、行动与奖励记录。
真人基准Human bar
在同一任务、同一规则下,人类优秀策略所达到的分数。Xitadel-QuantBench 将该参照分设为 80。

训练与奖励

策略Policy
智能体选择行动的方法。对于语言模型智能体,行为受模型、提示、工具与运行设置共同影响。
强化学习Reinforcement learning
让智能体通过行动获取反馈,再调整策略以提高预期奖励的学习方法。
奖励Reward
环境根据智能体表现返回的数值反馈,也是强化学习持续优化的信号。
奖励模型Reward model
根据训练数据预测输出质量或偏好分数的模型,常用于基于人类反馈的强化学习。
基于人类反馈的强化学习RLHF
利用人类反馈,通常是偏好判断,学习奖励信号,再用其优化策略的方法。
使用可验证奖励的强化学习RLVR
用答案核对、测试或其他程序检查计算奖励,并据此训练策略的方法。
轨迹采集Rollout
运行策略与环境交互,生成一轮任务记录的过程;训练时通常会并行采集许多轮。
可验证奖励Verifiable reward
能够依据明确规则,通过程序核验计算的奖励。可验证不代表规则已经覆盖所有任务要求。

业务场景

暂记账户Suspense account
用于暂放尚未查明归属款项的账户。结账时应查清并清零;留下余额说明仍有差异未解决。
试算平衡表Trial balance
列出各账户借贷余额的报表。借贷合计相等只能说明数字平衡,不能证明每笔业务都处理正确。
返回入门指南 →