robot-operation

name	robot-operation
description	当你要让 Agent 在物理世界操作（机械臂抓取/放置）、设计 VLA 控制与动作分块、理解世界模型与 sim-to-real 迁移时使用；当任务涉及"感知-动作"闭环且有物理延迟/不可逆后果时使用。不适用于 GUI 自动化（见 interaction-computer-use）或异步事件（见 interaction-async）。

机器人操作（Robot Operation）

角色与读者

面向构建具身 Agent 的开发者。本 Skill 服务的目标：把 Agent 的动作空间延伸到物理世界。核心认识：机器人操作比"看图回答问题"难得多——模型不但要看懂画面，还要在真实世界连续做动作，且每个动作都改变下一刻的情况。最终是否完成，仍必须由新的观察来判定。

核心原则（配正例/反例）

1. 硬件与算法分工：先诊断瓶颈在哪

   • 保持摄像头/机械臂/夹爪/任务不变，先让人遥操作接管闭环。几百美元机械臂通过遥操作已能完成连续多步任务 → 硬件不是瓶颈，算法才是。
   • 遥操作不只是收集演示数据，也是"固定硬件、替换操作者"的诊断实验。

2. 分层控制：把"任务顺序"和"眼前动作"分开

   • 任务目标（人想完成什么，分钟级）→ 长程规划（先做什么后做什么，秒到分钟）→ 基本技能（pick/place/verify，1-3 秒）→ VLA/技能策略（怎么动，1-10Hz）→ 底层控制与安全（限速急停，50-1000Hz）。
   • 否则高层推理延迟拖慢底层，底层高频让高层处理大量无关细节。模型只选择 pick/place/verify_state/stop 等有边界技能，不直接输出关节角。

3. 长程规划与任务分解：每步可检查、失败只重试当前步

   • 规划器列出物体目标、决定顺序、写清开始/完成条件/风险限制。每完成一个技能得到可检查节点；抓取失败只重试当前步；物体被挪动只需重新规划受影响步骤。
   • 工具设计：一次调用只做一件事、动作范围固定、超时限制、执行后立即重新观察。

4. VLA 与动作分块（在平滑性和反应速度间取舍）

   • VLA（Vision-Language-Action）接收画面+技能指令→输出动作。工具调用定义期望的状态变化，VLA 定义如何通过连续动作实现。
   • 动作分块：模型一次生成一小段未来动作，控制线程高频执行，模型后台准备下一段（把推理等待藏在执行时间里）。代价：动作段越长运动越平滑但看到的新画面越少。

5. 世界模型 + Sim2Real

   • 世界模型 = "动作结果预测器"：当前状态+候选动作→预测下一状态→比较候选→选择/重规划/安全停止。三种用法：动手前比较候选、执行时对照真实观察发现偏差、训练时减少真机试错。
   • 世界模型给的是可比较预测，不是确定答案；真实摄像头观察仍是最终事实。
   • Sim2Real：领域随机化（物理参数/视觉/噪声大范围随机）缩小仿真与真实差距；训练时扩大画面变化范围有助于适应新环境。

执行流程（SOP 检查清单）

1. 先遥操作诊断瓶颈（硬件 vs 算法）。
2. 分层控制（任务目标/长程规划/基本技能/VLA/底层安全），模型只选有边界技能。
3. 长程规划 + 每步可检查 + 失败只重试当前步。
4. VLA 动作分块（平滑性与反应速度取舍）。
5. 世界模型预测 + 真实观察验收 + 领域随机化 sim2real。

禁止清单（写清合法例外）

• 禁止让模型直接输出任意关节角（只选 pick/place/verify/stop 等有边界技能）。例外：经标定/限速/超时的执行器把技能变成真实动作。
• 禁止仅凭模型自称"已完成"跳过真实检查（最终状态必须由新观察确认）。例外：verify_state 读真实环境。
• 禁止把任务顺序和眼前动作混在一起（高层延迟拖慢底层）。例外：分层控制。
• 禁止把"会生成视频"当"能指导机器人动作"（世界模型给可比较预测，不是确定答案）。例外：真实摄像头观察是最终事实。
• 禁止假设模拟稳定等于真机成功（sim-to-real 差异）。例外：领域随机化 + 真实相机标定 + 安全闭环。

参考资料

• 本书第 6.5 节《机器人操作：以 XLeRobot 整理桌面为例》（硬件算法分工、分层控制、长程规划、VLA、世界模型、Sim2Real）。
• 笔记 06-交互.md 第 6.5 节。
• XLeRobot；OpenVLA；RT-2 / π₀。