interaction-voice

name	interaction-voice
description	当你在构建语音 Agent（听/想/说的实时交互）、选择级联/端到端/全双工范式、做快慢思考分离、让 TTS 更像人时使用。不适用于异步事件驱动（见 interaction-async）或 Computer Use（见 interaction-computer-use）。

语音交互（Voice Agent）

角色与读者

面向构建语音交互 Agent 的开发者。本 Skill 服务的目标：把 Agent 放进持续工作、随时可能被打断的输入输出回路。核心认识：语音的价值不只是把文字换成声音——正常说话速度是打字四倍、不占用双手视线，天然适合实时交互；但"想完再说"在环境变化速度接近生成速度时本身就是不可接受的延迟。

核心原则（配正例/反例）

1. 三种交互范式（取舍而非新旧替代）

   • 级联（VAD→ASR→LLM→TTS）：模块清晰易调试，延迟累积、副语言信息在接口处丢失。
   • 端到端 Omni：原生音频输入输出，延迟较低、保留语气情绪环境声，仍依赖轮次、训练调试成本高。
   • 全双工：持续听说决策，支持重叠说话自然打断连续流，训练控制评估更复杂。
   • 主线：如何摆脱"轮流说话"和 VAD 对发言权的猜测（VAD 基于声学信号无法捕捉语义——用户停顿≠说完、"嗯""对"是附和不是打断）。

2. 级联延迟累积 + 流式化缓解

   • 串行延迟：VAD 500-800ms + ASR 50-200ms + LLM 100-500ms + TTS 200-500ms，最优 ~0.9s、最差 ~2.3s；生产排队总延迟 = S/(1-ρ)，ρ=0.8 时 5s 不可接受。
   • 流式化：ASR 边听边转、LLM 分段输出、TTS 增量合成。真正的"抢跑"需提交/失效/回滚机制。

3. 快慢思考分离（工程上最实用的方案）

   • 前台快模型低延迟倾听应答维持对话，后台慢模型推理规划工具调用。优势：直接承接慢模型迭代红利（换后台即可，不必重训整套实时系统）。
   • 反例（快慢一致性问题）：快模型先建议购买、慢模型随后发现缺关键功能——两个实例各自独立完整思考，前后矛盾。
   • 三个方案：快思考回应慢思考回答（易矛盾）→ 快思考交互慢思考提醒（间接模糊）→ 端到端思考表达统一（MGRD+MPS 双脑，需一起重训）。

4. 两个"端到端"要区分

   • 语音通路端到端（模型直接收音频生成音频，Omni/交互模型）；认知架构端到端（实时交互与深度思考同一模型 vs 前后台分离）。两条轴独立，一个系统可语音通路端到端 + 认知快慢分离。

5. 更像人的 TTS（控制标记）

   • 传统 TTS 过于流畅零停顿暴露机器身份；停顿、填充词、偶尔重复是人类表达不确定性的信号。
   • 让主 LLM 输出控制标记（THINKING、EMO:happy、SPEED:0.8x），TTS 映射为停顿/韵律/语速/笑声/叹气。

执行流程（SOP 检查清单）

1. 选范式：级联（起步/易调试）→ Omni（保留情绪）→ 全双工（需重叠说话）。
2. 若级联：流式化（ASR/LLM/TTS 各段流式）。
3. 做快慢分离（前台交互 + 后台推理，快慢之间用状态栏/接口沟通）。
4. TTS 加控制标记（停顿/情绪/语速）。
5. 验证：端到端延迟、打断自然度、情绪保留。

禁止清单（写清合法例外）

• 禁止快慢两模型各做一次独立完整思考（前后矛盾失去信任）。例外：慢思考作"军师"幕后指导，或端到端统一。
• 禁止依赖 VAD 判断"说完"（用户停顿≠说完）。例外：语义端点判断（模型综合语义和静音）。
• 禁止 TTS 过于流畅零停顿（暴露机器身份）。例外：加停顿/填充词/控制标记。
• 禁止把"像不像某个参考音色"算进通用 TTS 总分（选什么参考音频本身是评估设计）。例外：比较声音克隆时让所有方案模仿同一目标说话人 + 人工盲听校准。

参考资料

• 本书第 6.3 节《语音：最自然的人机接口》（三范式、级联、Omni、全双工、快慢思考、TTS 自然化）。
• 笔记 06-交互.md 第 6.3 节。
• OpenAI "Introducing GPT-Live"；Step-Audio R1。