interaction-computer-use

name	interaction-computer-use
description	当你在构建 GUI 自动化 Agent（观察屏幕、操作鼠标键盘）、设计视觉定位方案（SoM/DOM/坐标预测）、处理动作后状态确认时使用；当 Agent 需要像人类一样操作软件界面时使用。不适用于语音（见 interaction-voice）或异步事件（见 interaction-async）。

Computer Use：GUI 自动化 Agent

角色与读者

面向构建 Computer Use Agent 的开发者。本 Skill 服务的目标：让 AI 像人类一样通过观察屏幕、操作鼠标键盘使用软件。核心认识：Computer Use 的难点不只是让模型在截图上答对，而是让它在每一步之后重新确认现实是否仍符合计划。区分"看懂界面"（一次截图问答）和"完成任务"（把理解和动作放进闭环）。

核心原则（配正例/反例）

1. 动作空间设计：三类工具

   • GUI 操作（鼠标 move/click/drag、键盘 type 逐字符 12ms 间隔/key/长按、滚动、感知 screenshot/cursor/wait）；命令执行（持久 bash、超时、哨兵检测）；文件编辑（字符串匹配安全编辑）。
   • 坐标缩放机制：实际分辨率 ↔ 训练分辨率（XGA/WXGA/FWXGA），按宽高比选目标分辨率（非等比拉伸会压变形、坐标带偏）。

2. 视觉定位三条路线（按结构化信息可得性选）

   • DOM/Accessibility Tree 索引（结构化信息可得时优先，定位最精确稳定，不省 token）；Set-of-Mark 纯视觉标注（分割模型切区域+编号，适合原生桌面/游戏，对未训练模型友好）；纯坐标预测（SeeClick/Claude computer use，省标注步骤，对做过 GUI 定位训练的模型直接）。
   • 结构化界面用 DOM；游戏/Canvas 回退纯视觉或坐标预测。

3. 观察接口（AOI）比动作接口更需要重新设计

   • 传统感知假设屏幕静止（每 3-5 秒截一次图、没耳朵），对"两帧之间发生的事"看不见听不到。
   • AOI：帧间关键帧捕获（小模型判断是否有意义变化才截帧）+ 音量门控语音转写（有声音才识别）+ 文字描述画面（原图清理后文字留记忆，实现多模态历史压缩）。

4. 世界模型：行动前预测动作后果

   • 观察接口不消除规划延迟（仍串行截图-思考-点击）。人类是先预测动作后果、与预期一致就沿计划执行、偏离才停下来重新观察。
   • 世界模型让 Agent 推测执行：编码当前状态、预测候选动作的状态变化、交给规划器决策。重点不是生成逼真未来截图，而是预测完成任务所需的可检查状态差异。

5. 移动端：生态壁垒比技术更难

   • 技术差异（无障碍服务 API、触摸手势坐标语义）可解；真正卡点是商业模式冲突——传统应用靠流量/广告变现，Agent 代操作绕过变现链路。是结构性利益冲突，比纯技术更棘手。

执行流程（SOP 检查清单）

1. 设计动作空间（GUI/bash/文件编辑三类工具）+ 坐标缩放。
2. 选视觉定位：DOM 可得用元素索引，否则 SoM 或坐标预测。
3. 重建观察接口（AOI：关键帧 + 语音转写 + 文字描述）。
4. 加世界模型（预测状态差异，推测执行）。
5. 每步之后重新截图验证状态。

禁止清单（写清合法例外）

• 禁止假设屏幕静止（截一张图想一步点一下会漏掉两帧之间的事）。例外：AOI 关键帧捕获 + 语音转写。
• 禁止非等比拉伸截图（画面压变形、坐标判断带偏）。例外：按宽高比选目标分辨率。
• 禁止把动作执行成功当任务成功（最终状态检查必须读真实页面/后端状态）。例外：动作成功≠任务成功。
• 禁止把定位证据当完成证明（XPath/CSS 只用于找元素，不能证明任务完成）。例外：最终状态检查。
• 禁止在 GUI 可代码/API 替代时用 Computer Use（成本延迟稳定性差）。例外：无 API 时用，成功序列固化为 RPA。

参考资料

• 本书第 6.4 节《Computer Use》（动作空间、视觉定位、AOI、世界模型、移动端）。
• 笔记 06-交互.md 第 6.4 节。
• Anthropic Computer Use 参考实现；browser-use；Set-of-Mark。