posttrain-practice

name	posttrain-practice
description	当你要把生产问题案例转化为后训练数据、识别后训练中的常见陷阱（过拟合/奖励黑客/数值失配/成本低估）时使用；当需要"从问题案例到参数更新"的完整链路（失败归因→轨迹前缀回归→DPO/SFT→双集验证）时使用。不适用于训练阶段选择（见 posttrain-stage）或奖励设计（见 posttrain-reward）。

后训练实践要点（Post-Training Practice）

角色与读者

面向做模型后训练的工程师。本 Skill 服务的目标：把第七章的问题案例真正变成训练数据，并避开常见陷阱。核心认识：识别常见陷阱往往比掌握技术细节更能避免资源浪费。

核心原则（配正例/反例）

1. 从问题案例到后训练的映射

   • 端到端回归任务（含验证器）→ RL rollout 任务与 RLVR / 拒绝采样（RFT）采样池。
   • 轨迹前缀回归任务 → DPO 偏好对 / 决策边界 SFT 示范 / On-Policy Distillation 教师状态。
   • 失败归因记录（首个错误+类别）→ 过程监督负标签（PRM）/ RLVP 路径惩罚规则来源。
   • Rubric 多维评分与金标集 → 向量奖励各维度 / 生成式奖励模型（GRM）训练校准数据。

2. 案例一：Coding Agent 过早结束 → DPO

   • 截取"准备宣称完成"的决策边界构造偏好对：rejected=过早结束，chosen="先跑测试逐条核对验收再下结论"（教师生成+验证器过滤）。
   • 关键：奖励必须依赖模型无法编写/修改的隐藏测试，而非模型自己的声明（否则学会"口头声称去验证"）。
   • 验证用边界集（未完成时选继续验证）+ 保留集（已完成时正常收尾）双集，避免训练成"永远不敢结束"。

3. 案例二：中文引号 → 作用域敏感 SFT

   • 反馈"直引号统一为弯引号"不能直接当全局替换规则：同一引号在中文/英文/代码/JSON/路径中角色不同。
   • 教模型"先判断作用域，再做最小编辑"（中文转弯、英文/代码/JSON 保留、无法判断保留原文），而非"看到直引号就替换"。

4. 案例三：编辑文件经常失败 → 精确复制 SFT

   • 沿链路逐层定位首个差异（文件字节→工具返回→Harness 序列化→模型上下文→模型输出→解码→工具匹配）。
   • 只有差异在模型输出才转成 byte-exact 复制 SFT 数据；若工具/Harness/tokenizer 改变字节，修复对应层而非训练模型。

5. 11 个常见陷阱（浓缩）

   • 用 SFT 硬塞知识库；格式未稳定上 RL；把标称窗口当有效窗口；pass@k 近零上 RL；奖励函数不当导致 reward hacking；忽视仿真保真度；过度训练泛化下降；价值函数崩溃/探索不足；把训练-推理数值失配当小噪声；低估 RL 计算成本（SFT→RL 可能 10-100 倍）；训练数据质量低下。
   • 核心：投入大规模资源前先小规模实验验证关键假设（快速失败比大规模失败更可接受）。

执行流程（SOP 检查清单）

1. 从失败归因出发，确定问题类型与首个错误。
2. 构造训练数据（DPO 偏好对 / 作用域 SFT / 复制 SFT，按问题类型）。
3. LoRA 训练 + 边界集/保留集双集验证。
4. 检查训练/评估隔离（held-out 集与训练数据严格分离）。
5. 对照 11 个陷阱自查，小规模验证再放大。

禁止清单（写清合法例外）

• 禁止把失败轨迹直接当正确示范（失败轨迹可构造偏好对/发现覆盖缺口，但不是正确 SFT 轨迹）。例外：经诊断修复后加入训练。
• 禁止奖励依赖模型自己的声明（用模型无法编写的隐藏测试/状态断言）。例外：端到端数据集奖励依赖隐藏测试。
• 禁止"看到直引号就替换"这类全局规则。例外：作用域敏感的最小编辑（该改才改、该留则留）。
• 禁止小规模假设未验证就大规模训练。例外：小批语料/少量数据/小批 rollout 先验证。
• 禁止把训练/评估混用。例外：训练数据与评估集严格分开保存。

参考资料

• 本书第 8.14 节《从问题案例到后训练》+ 第 8.15 节《后训练实践要点》。
• 笔记 08-模型后训练.md 第 8.14 节。
• GeneralPoints / ReTool 训练动态。