simulation-env

name	simulation-env
description	当你要把评估环境升级为仿真环境（后训练的练习场）、设计可重置/可并行/可复现的训练环境、处理领域随机化缩小 sim-to-real 差距时使用；当需要让模型反复试错并自动打分时使用。不适用于评估环境本身的搭建（见 eval-dataset）或奖励信号设计（见 posttrain-reward）。

仿真环境（Simulation Environment）

角色与读者

面向需要做 RL 后训练的工程师。本 Skill 服务的目标：把评估环境升级为能反复练习、自动打分的仿真环境。核心认识：评估的终点不是打分，而是改进——当目标从"评估现有能力"扩展到"培养新能力"，评估环境就需要演化为仿真环境。

核心原则（配正例/反例）

1. 仿真环境与评估环境的三个区别

   • 交互频率高得多（数百万次 vs 数千次）；需要随机化（防止死记硬背特定配置）；必须提供即时反馈。
   • 评估侧资产可近乎无缝转成训练信号：Rubric/验证器本质就是 RLVR（可验证奖励）的奖励函数——判分脚本直接就是奖励脚本。

2. 训练的两个新要求（评估阶段不必操心）

   • 可靠的 reset 语义：每个 episode（从初始状态到任务结束的完整交互）必须重置到确定、干净的初始状态，否则梯度信号被上一轮残留污染。
   • 远高于评估的吞吐：训练要喂给模型上百万次交互，环境并行度和单实例开销直接决定训练可行性。

3. 环境失真的代价（RL 项目最常见的失败方式）

   • 仿真里的客服总按固定套路回话、错误信息跟生产对不上 → 模型学到只在仿真里管用的"应试策略"，一上线就暴露。不是算法不行，而是练习场与考场不相同。
   • 构建高保真环境常比训练本身更贵更难。

4. 造不出环境：让模型扮演环境（两层次）

   • 层次一：模型合成工具返回值（ZeroSearch 用 LLM 扮演搜索引擎，课程式设计初期高质量结果逐步掺噪声，训练全程没见过真实搜索引擎的模型对接真实搜索依然良好）。
   • 层次二：模型仿真整个环境动态（DreamGym 蒸馏进"经验模型"；客服/销售用 LLM 扮演用户）。
   • 风险：模拟器世界知识=训练天花板，偏差被策略照单全收，RL 会 reward hacking。稳妥做法：模型模拟承担大部分交互量 + 真实环境交互定期校准偏差。

5. 领域随机化缩小 sim-to-real 差距

   • 在物理参数/视觉外观/传感器噪声引入大范围随机变化，像在各种光照角度都练过抓取，到真实环境不因光线变化失手。
   • 保真度权衡：高保真迁移好但计算开销大；适度随机化提升泛化，过度随机化让任务过难。
   • 数字环境（AWorld：MCP 沙盒 126 工具，14.6 倍加速）；具身环境（RoboTwin2：物理引擎双臂操作，动作分块实时控制）。

执行流程（SOP 检查清单）

1. 判断是否需要仿真（是否做 RL 后训练）。
2. 把评估验证器转成 RLVR 奖励函数。
3. 满足 reset 语义 + 吞吐（并行度、单实例开销）。
4. 环境工程顺序：任务蓝图 → 可重置模拟器 → 确定性验证器 → 训练/评估隔离 → 少量真实交互校准。
5. 领域随机化缩小 sim-to-real 差距。

禁止清单（写清合法例外）

• 禁止环境失真还直接训练（学到应试策略，一上线暴露）。例外：模型模拟承担大部分交互 + 真实环境定期校准。
• 禁止训练与评估共享同一批任务（可共享任务生成器/验证代码，不能共享同一批任务）。例外：测试用例/隐藏状态/参考解法留验证器一侧。
• 禁止把模拟器当完美世界（模拟器偏差是训练天花板）。例外：真实环境交互定期校准。
• 禁止忽略 reset 语义（残留状态污染梯度）。例外：每个 episode 重置到确定干净初始状态。
• 禁止过度随机化（任务过难无法学习）。例外：适度随机化提升泛化。

参考资料

• 本书第 7.11 节《仿真环境：从评估到后训练的桥梁》。
• 笔记 07-Agent的评估.md 第 7.10 节。
• AWorld / RoboTwin2 / ZeroSearch / DreamGym。