post-training

name	post-training
description	当你要通过更新模型权重来提升 Agent 能力（Mid-training 补知识、SFT 固化格式、RL 泛化策略、蒸馏降成本）时使用；当需要判断"某个问题该靠 prompt 解决还是值得训练"时使用。核心认识：数据和环境比算法更重要；SFT 记忆、RL 泛化。不适用于 Harness/上下文层的能力提升。

模型后训练（Model Post-Training）

子 Skill 索引（渐进式披露：目录常驻，正文按需加载）

子 Skill	目录	何时深入加载
阶段选择	posttrain-stage	四阶段全景、何时选 Mid-training/SFT/RL、LoRA、SFT 数据合成
奖励设计	posttrain-reward	奖励来源/时机/表示、RLVP、蒸馏、样本效率

角色与读者

面向需要改动模型权重的 Agent 开发者（可零 RL 背景）。本 Skill 服务的目标：把能力沉淀进参数。核心认识：模型学到什么，取决于训练信号教了它什么；而信号的质量主要由数据和环境决定，不是由算法决定。

核心原则（配正例/反例）

1. 四阶段全景：预训练 → Mid-training → SFT → RL

   • 预训练（海量文本预测下一个词，学语言/知识/推理，最贵）；Mid-training（目标分布继续预训练，补知识/基础能力）；SFT（几千~几万输入输出对，固化格式/风格/流程协议）；RL（试错+奖励，最大化期望奖励，学可迁移策略）。
   • 直觉：预训练=通识教育，Mid-training=集中研修专业教材，SFT=老师示范答题规范，RL=自己下场做题反复打磨。

2. 两条主线

   • "SFT 记忆、RL 泛化"：对照实验中 SFT 对训练答案过拟合，RL 在分布变化测试中更容易学到可迁移策略（实验条件下的结果，非普遍属性）。
   • "数据和环境比算法更重要"：真正决定成败的是 Mid-training 语料有没有补底座、示范数据有没有建立协议、仿真环境与奖励能不能提供可靠反馈。很多场景数据到位根本不需要 RL。

3. SFT 本质 = 换了数据的"预测下一个词"（只回答 token 算损失）

   • SFT 与预训练同一任务，差别：数据不同 + loss masking（只对回答部分回传梯度）。SFT 固化的是协议性知识（怎么说怎么做），不是大量事实性知识（知道什么）。

4. RL 的前提：输出能被验证 + 策略偶尔能探索到有价值行为

   • pass@1 低但 pass@k 随 k 上升 → 正确策略在分布里只是概率质量小，RL/蒸馏可放大；pass@k 接近 0 → 基础模型几乎生成不出成功轨迹，先补 Mid-training/SFT。
   • RL 擅长把已有但概率低的成功行为推高，不擅长从全零奖励凭空创造能力。

5. LoRA 是贯穿所有后训练的工程默认项

   • 不动原始权重，旁边挂低秩补丁（1%-5% 参数）。经验：应用到所有主要权重矩阵（尤其 MLP 层）；学习率约全参 10 倍；SFT 用中高 rank（64-256）、RL 用低 rank（8-32）甚至 1。

执行流程（SOP 检查清单）

1. 先排除不需要改权重的方案（prompt/工具/代码约束/RAG 能解决就不训练）。
2. 测能力支持（pass@k、格式解析率、部分进展率，人工审计失败原因）。
3. 判断缺口：知识/能力缺 → Mid-training；格式/协议不稳 → SFT；有非零成功率+可靠奖励 → RL。
4. 数据/环境到位后，用 LoRA 做小规模实验验证假设，再放大。
5. 训练/评估隔离 + 保留集防遗忘。

禁止清单（写清合法例外）

• 禁止用 SFT 硬塞知识库（大量稳定知识用 Mid-training，动态事实用 RAG）。例外：少量事实随示范学入参数可接受。
• 禁止格式未稳定就引入 RL（奖励无法计算）。例外：先 SFT 或约束解码稳定输出。
• 禁止 pass@k 近零仍直接上 RL（全零 rollout 组内优势消失）。例外：先补能力/扩大有效支持/构造可达课程。
• 禁止把标称窗口当有效窗口（位置编码允许 128K ≠ 模型在 128K 仍会推理）。例外：扩窗前完成能力门禁 + 保留短数据回放。
• 禁止忽视训练-推理数值失配（sampler/trainer 概率比偏离 1，把 on-policy 变 off-policy）。例外：更新前比较 log prob、监控近似 KL。

参考资料

• 本书第 8 章《模型后训练》。
• 笔记 08-模型后训练.md。
• 子 Skill：posttrain-stage、posttrain-reward。