interaction

name	interaction
description	当你要扩展 Agent 观察与动作空间的模态（语音/GUI/物理）和时机（异步事件/连续流/可打断）时使用；当 Agent 从"回合制"走向"实时交互"时使用。核心认识：回合制是训练留下的假设，不是环境的性质。不适用于纯文本的上下文/工具设计。

交互：观察与动作空间的扩展

子 Skill 索引（渐进式披露：目录常驻，正文按需加载）

子 Skill	目录	何时深入加载
异步与事件驱动	interaction-async	让世界主动唤醒 Agent、处理多事件、异步打断
语音交互	interaction-voice	构建语音 Agent、快慢思考分离、TTS 自然化
Computer Use	interaction-computer-use	GUI 自动化、视觉定位、世界模型

角色与读者

面向构建实时交互 Agent 的开发者。本 Skill 服务的目标：把观察从"Agent 主动去取"扩展为"世界主动推来"，把动作从"回合内做完"扩展为"跨回合、可打断、可抢占"。核心认识：真实环境不会等模型作出反应——邮件在它思考时到达、用户在它说到一半时插话、屏幕在两帧之间已变样。

核心原则（配正例/反例）

1. 四类场景共享同一控制骨架与原语

   • 骨架：持续感知 → 判断状态与时机 → 选择回复/动作 → 让输出进入环境 → 观察反馈 → 继续/修正/重试/停止/重新规划。
   • 原语：唤醒、安全点、取消、抢占、快慢分离。

2. 训练同步 / 部署异步的根本矛盾

   • LLM 训练范式假设"发出工具调用后下一条必须是工具结果"；真实部署要求随时打断、多任务并发、外部事件在工具未返回时抵达。当前解法是占位符修复格式 + 非紧急事件入队，根本解法是异步环境中的 RL 训练。

3. 快慢分离：实时与智能是两条近乎正交的轴

   • 前台快模型维持对话节奏（低延迟倾听应答），后台慢模型深度思考（推理规划工具调用）。更强思考模型发布后只需替换后台，不必重训整套实时系统。

4. 动作后必须重新确认现实是否仍符合计划

   • Computer Use 每步之后重新截图验证；机器人每完成一个技能重新观察检查后置条件；语音边说边听可被打断。最终是否完成由新观察判定，而非模型自己宣称。

5. 模态选择：能 API/代码就不 GUI，能 GUI 就不模拟鼠标的复杂坐标

   • 代码/API 是效率最高、成本最低、可复用性最强的路径；Computer Use 通用但成本延迟稳定性差。成功操作序列可固化为代码（RPA）复用。

执行流程（SOP 检查清单）

1. 确定扩展维度：模态（语音/屏幕/物理）还是时机（异步/连续流/可打断）。
2. 设计控制骨架 + 原语（唤醒/安全点/取消/抢占/快慢分离）。
3. 处理"训练同步/部署异步"矛盾（占位符 + 入队，或异步工具接口）。
4. 快慢分离（前台交互 + 后台推理）。
5. 动作后重新观察验证。

禁止清单（写清合法例外）

• 禁止假设世界会等模型想完。例外：异步事件驱动 + 可打断可抢占。
• 禁止伪造未完成工具的成功结果。例外：显式占位符，真实结果到达后作为新事件追加。
• 禁止"想完再说"当默认（语音/Computer Use 需边想边说）。例外：快慢分离或推理加速。
• 禁止让前台快模型和后台慢模型各做一次独立完整思考（前后矛盾）。例外：慢思考作"军师"幕后指导，或端到端思考表达统一。

参考资料

• 本书第 6 章《交互：观察与动作空间的扩展》。
• 笔记 06-交互.md。
• 子 Skill：interaction-async、interaction-voice、interaction-computer-use。