posttrain-stage

name	posttrain-stage
description	当你要判断某个能力缺口该用 Mid-training、SFT 还是 RL 来补、或决定是否值得训练时使用；当需要构造 SFT 数据、理解四阶段全景时使用。不适用于奖励信号设计（见 posttrain-reward）。

训练阶段选择（Training Stage Selection）

角色与读者

面向需要做"要不要训练、训练什么"决策的 Agent 开发者。本 Skill 服务的目标：先判断缺的是底座、协议还是策略，不要把"模型做不好"统一归因成需要 RL。核心认识：Mid-training、SFT、RL 不是三种可互换的"微调力度"，而是分别处理底座、协议、策略。

核心原则（配正例/反例）

1. 决策表（观察现象 → 主要缺口 → 优先方法）

   • 领域概念/语言/基础操作不会，pass@k 接近 0 → 知识与能力缺 → Mid-training（动态事实 RAG）。
   • 偶尔能做对但格式/工具 schema/流程不稳定 → 行为协议没固化 → SFT 或约束解码。
   • 已有非零成功率和可靠奖励，但好策略概率低/长程/OOD 不足 → 概率质量分配 → RL。
   • 只有少量稳定示范，无可交互环境 → 可模仿数据有、在线反馈无 → SFT/RFT/离线偏好优化。

2. 决策顺序（先排除不需要改权重的）

   • ① Prompt/工具/代码约束/上下文管理能解决就不训练；事实频繁更新优先 RAG。② 目标留出集测能力支持（不只贪心 pass@1，还看 pass@k、部分进展率、格式解析率）。③ SFT 立协议不硬塞知识库。④ 只在有探索空间时上 RL（全零 rollout 上直接加 PPO/GRPO 只消耗采样预算）。

3. SFT 数据三条路 + 数据质量

   • 人工专家示范（质量天花板，做种子数据）、教师模型生成（合成数据）、拒绝采样（自己采样多候选，验证器筛正确样本再训练自己）。
   • 与其堆十万条脏数据，不如精修一万条干净数据（数据里每处噪声 SFT 都可能写进参数）。

4. SFT 数据合成：从示范到可训练轨迹

   • 流水线：线上数据 → 任务蓝图 → 合成任务 → 多次候选轨迹 → 任务验证 + 轨迹验证 → SFT 数据。去除身份信息后重新生成虚构数据。
   • 拒绝采样微调（RFT）：只保留验证通过的轨迹，介于纯 SFT 与 RL 之间，可验证任务上性价比极高。
   • 训练集按任务模板/客户/时间段去重划分，评估集来自不重叠任务类型。

5. LoRA 参数经验

   • 必须应用到所有主要权重矩阵（尤其 MLP 层，只加注意力层掉点）；学习率约全参 10 倍；SFT 中高 rank（64-256）、RL 低 rank（8-32）甚至 1；一台推理服务器可加载多个 adapter 多租户。

执行流程（SOP 检查清单）

1. 排除不需改权重的方案（prompt/工具/RAG）。
2. 测能力支持（pass@k + 格式解析率 + 部分进展率 + 失败归因）。
3. 按决策表选方法（Mid-training/SFT/RL/离线偏好）。
4. 构造数据（三条路组合 + 拒绝采样 + 去重隔离）。
5. LoRA 小规模验证 → 放大。

禁止清单（写清合法例外）

• 禁止把 Mid-training→SFT→RL 当仪式化流水线（每步要有可测进入条件）。例外：强基模可能直接进 RL，格式型任务只需 SFT。
• 禁止用 SFT 硬塞知识库。例外：大量稳定知识用 Mid-training，动态事实 RAG。
• 禁止格式未稳定上 RL（奖励无法计算）。例外：先 SFT 稳定格式。
• 禁止 pass@k 近零上 RL。例外：先补能力/有效支持/课程。
• 禁止评估集与训练数据混用。例外：参数化动态生成缓解泄漏。

参考资料

• 本书第 8.1-8.7 节（四阶段全景、SFT 本质、何时先补底座、SFT 数据合成、何时选择 Mid-training/SFT/RL）。
• 笔记 08-模型后训练.md 第 8.1-8.6 节。
• LoRA Without Regret（LoRA 参数经验）。