Menu
电脑操控技能。让AI像人一样操控电脑：看屏幕、点鼠标、打字、操作软件。适用于：操作桌面软件（没有API的系统）、自动填写表单、点击按钮、多窗口操作、截屏查看界面。
Install with Codex or Claude Copy this prompt, paste it into Codex, Claude, or another assistant, and let it review the skill page and install it for you.
Based on SOC occupation classification
| name | computer-use |
| description | 电脑操控技能。让AI像人一样操控电脑：看屏幕、点鼠标、打字、操作软件。适用于：操作桌面软件（没有API的系统）、自动填写表单、点击按钮、多窗口操作、截屏查看界面。 |
| dependencies | pip install pyautogui mss pillow pygetwindow pyperclip |
让小咪像人一样操控电脑：看屏幕、点鼠标、打字、操作软件。
使用前需安装 Python 依赖：
pip install pyautogui mss pillow pygetwindow pyperclip
当以下情况时使用此 Skill：
| 层级 | 方式 | 速度 | 成本 | 适用场景 |
|---|---|---|---|---|
| L1 | UI Automation | ⚡极快 | 免费 | Windows 原生应用、标准控件 |
| L2 | 截图 + AI 视觉 | 🐢较慢 | 消耗token | 复杂界面、非标准控件 |
| L3 | OCR + 文本分析 | ⚡快 | 低 | 纯文字识别场景 |
原则：能用 L1 就不用 L2，90% 的操作 L1 就够了。
1. 获取界面信息（UI Tree 或 截图）
2. 分析界面，理解当前状态
3. 决定下一步操作
4. 执行操作（点击/输入/快捷键）
5. 等待响应
6. 再次获取界面信息，确认结果
7. 循环直到任务完成
方式 A: UI Automation（首选）
python ~/.openclaw/skills/computer-use/scripts/ui_tree.py
输出：当前窗口所有可交互元素的列表（名称、类型、坐标）
方式 B: 截图 + AI 分析（备选）
python ~/.openclaw/skills/computer-use/scripts/screenshot.py 0.5
然后用 image 工具分析截图：
image(image="~/tmp/screenshot.png", prompt="描述这个界面上有哪些可交互元素")
# 点击
python ~/.openclaw/skills/computer-use/scripts/action.py "{\"type\":\"click\",\"x\":500,\"y\":300}"
# 双击
python ~/.openclaw/skills/computer-use/scripts/action.py "{\"type\":\"double_click\",\"x\":500,\"y\":300}"
# 输入文字
python ~/.openclaw/skills/computer-use/scripts/action.py "{\"type\":\"type\",\"text\":\"Hello World\"}"
# 快捷键
python ~/.openclaw/skills/computer-use/scripts/action.py "{\"type\":\"hotkey\",\"keys\":[\"ctrl\",\"c\"]}"
# 按键
python ~/.openclaw/skills/computer-use/scripts/action.py "{\"type\":\"press\",\"key\":\"enter\"}"
# 滚动
python ~/.openclaw/skills/computer-use/scripts/action.py "{\"type\":\"scroll\",\"amount\":-3}"
# 拖拽
python ~/.openclaw/skills/computer-use/scripts/action.py "{\"type\":\"drag\",\"start_x\":100,\"start_y\":200,\"end_x\":300,\"end_y\":400}"
# 等待
python ~/.openclaw/skills/computer-use/scripts/action.py "{\"type\":\"wait\",\"seconds\":2}"
再次运行 ui_tree.py 或 screenshot.py 确认操作是否成功。
| 操作 | type | 必需参数 | 可选参数 |
|---|---|---|---|
| 点击 | click | x, y | button(left/right), clicks |
| 双击 | double_click | x, y | - |
| 右键 | right_click | x, y | - |
| 移动鼠标 | move | x, y | - |
| 输入文字 | type | text | interval |
| 快捷键 | hotkey | keys[] | - |
| 按键 | press | key | - |
| 滚动 | scroll | amount | x, y |
| 拖拽 | drag | start_x, start_y, end_x, end_y | duration |
| 等待 | wait | seconds | - |
~/.openclaw/skills/computer-use/
├── SKILL.md # 本文件
└── scripts/
├── screenshot.py # 屏幕截图
├── action.py # 操作执行
└── ui_tree.py # UI 元素树获取
# Linux/Mac
pip install pyautogui mss pillow
# Windows（需要 pyperclip 支持中文输入）
pip install pyautogui mss pillow pygetwindow pyperclip
1. exec: 启动记事本 → start notepad
2. wait: 等待窗口出现
3. ui_tree: 获取记事本窗口元素
4. action: 点击编辑区域
5. action: 输入文字
6. action: Ctrl+S 保存
1. ui_tree: 获取浏览器窗口
2. action: 点击地址栏
3. action: 输入搜索内容
4. action: 按回车
5. screenshot: 截图确认结果
1. screenshot: 先截图看看当前界面
2. image: 分析界面布局
3. 根据分析结果决定操作
4. action: 执行操作
5. screenshot: 确认结果
自研技能，灵感来自 Anthropic Claude Computer Use