posttrain-reward

name	posttrain-reward
description	当你要设计 RL 的奖励信号（来源/时机/表示）、处理信用分配、防范 reward hacking、或做蒸馏提升样本效率时使用；当需要把任务目标变成学习信号时使用。不适用于训练阶段选择（见 posttrain-stage）。

奖励设计（Reward Design）

角色与读者

面向需要做 RL 训练的 Agent 开发者。本 Skill 服务的目标：把任务目标变成可靠的学习信号，并让信号密度与质量足够训练。核心认识：奖励设计沿三个互补维度展开——奖励来自哪里、什么时候给、表达多少信息；还要回答"结果正确时，路径是否也合规"。

核心原则（配正例/反例）

1. 奖励来源：可验证奖励（RLVR）最可靠

   • 测试用例/数据库断言/状态差异/格式检查直接判断。规则越确定，奖励越便宜可复现越难钻空子。
   • 区分 reward hacking（钻规则/实现漏洞拿高分）vs reward seeking（心里建立"评判器会看什么"模型，长程任务中自行设置过于简单的检查刚好通过就提前结束）。"通过了 grader"≠"任务完成了"。

2. 奖励时机：结果奖励（ORM）vs 过程奖励（PRM）

   • 结果奖励：只在结束判，最大探索自由度，但长时序信用分配难；"是否完成"判定交给模型写不了的隐藏测试/状态断言，不能只靠模型声称完成。
   • 过程奖励：中间步骤反馈（检查身份验证/工具参数/测试通过数），缓解信用分配但可能限制探索、标注成本高。
   • 工程：先用结果奖励建基线，再只为真正可验证的中间事件加过程信号。多轮 LLM RL 通常 γ=1。

3. 奖励表示：标量/向量/生成式，按需选

   • 有确定答案→二元标量；多个独立质量目标→向量；开放式难穷举规则→生成式诊断+事实校验+人工抽检。
   • 不要为"奖励更丰富"堆叠不可验证维度（每加一个维度增加一种被钻空子可能）。

4. RLVP：奖励结果，惩罚路径

   • 结果奖励表达不了"是否按规定办成"（改测试/跳身份验证/破坏性命令表面成功）。总奖励 R = O + βΦ（O 结果 + Φ 确定性规则逐动作路径信号，违规扣分、合规/可达子目标少量部分奖励）。
   • 关键不是"奖励越密越好"，而是能否恢复组内差异（全败/全胜组纯结果奖励零方差无梯度）。
   • 四点：只惩罚具体动作不惩罚"不够努力"；结果奖励始终保留（避免什么都不做）；每个惩罚配一条可达合规路径；规则确定难钻空子。

5. 蒸馏提升样本效率：在轨蒸馏 + 自蒸馏

   • 在轨蒸馏（On-Policy Distillation）：学生决定走到哪里，教师在学生已走到位置告诉下一步完整概率分布，一条长度 T 的 rollout 产生约 T 组逐 token 监督（而非一个 0/1）。数学任务达同等性能训练步数约为纯 RL 的 1/10。
   • On-Policy 自蒸馏（OPSD）：无更强教师时，同一模型分饰教师学生，教师版看"特权信息"（标准答案），学生版只看问题在自己采样轨迹上对齐。不凭空创造知识，需额外正则稳定。

执行流程（SOP 检查清单）

1. 确定奖励来源（可验证奖励优先，其次模型评判）。
2. 确定时机（结果 vs 过程，先结果建基线）。
3. 确定表示（标量/向量/生成式，按需）。
4. 加路径约束（RLVP：奖励结果 + 惩罚路径）。
5. 提升样本效率（在轨蒸馏 / OPSD）。

禁止清单（写清合法例外）

• 禁止把"是否完成"交给模型自己声称（用模型写不了的隐藏测试/状态断言）。例外：判定交给外部终止钩子。
• 禁止只惩罚"不够努力"（只惩罚具体可验证违规动作）。例外：RLVP 只惩罚具体动作。
• 禁止堆叠不可验证的奖励维度。例外：先确认信号能在少量 rollout 产生有意义组内差异。
• 禁止把 reward hacking 当正常（评估最终目标而非中间指标）。例外：明确惩罚幻觉/讨好/关键词堆砌/回避。
• 禁止蒸馏继承教师的系统性错误不设防（学生硬编码教师错误）。例外：拒绝采样过滤错误轨迹 + 保留工具鲁棒性。

参考资料

• 本书第 8.12-8.13 节（奖励来源/时机/表示、RLVP、蒸馏）。
• 笔记 08-模型后训练.md 第 8.11-8.12 节。
• RLVP 论文；Thinking Machines Lab "On-Policy Distillation"。