Menu
当用户要在 Windows 桌面上做 UI 自动化——窗口管理、鼠标点击、键盘模拟、桌面截屏、弹窗处理、应用控件定位时使用。
Install with Codex or Claude Copy this prompt, paste it into Codex, Claude, or another assistant, and let it review the skill page and install it for you.
Based on SOC occupation classification
当用户要生成 Word/Excel/PowerPoint、做文档格式转换（Markdown ↔ HTML ↔ DOCX ↔ PDF）、PDF 文本提取、读写 Excel、合并文档或批量转换时使用。
当用户要手动创作或改写一个新的知微 Skill、需要 v2 规范示例模板、排查 description/body 校验失败原因或打磨 metadata.zhiwei 元数据时使用。
当用户要测试或调试 REST / GraphQL 接口、验证响应格式、对比接口文档与实际行为、生成 Mock 数据时使用。
当用户要控制浏览器完成需要 JavaScript 渲染、登录态或交互操作的网页任务时使用。
当用户要通过外部编码 CLI（Claude Code / Codex / Gemini）完成多文件开发、修 bug、跨模块重构、PR 审查、并行任务分发等需要后台 Agent 执行的复杂编码任务时使用。
当用户要撰写文章、报告、邮件、博客、提案、周报或对已有文本做润色改写时使用。
| name | desktop-automation |
| description | 当用户要在 Windows 桌面上做 UI 自动化——窗口管理、鼠标点击、键盘模拟、桌面截屏、弹窗处理、应用控件定位时使用。 |
| version | 2.1.0 |
| metadata | {"zhiwei":{"tags":["desktop","ui-automation","windows","pyautogui","pywinauto"],"suggested_tools":["shell_exec","file_read","file_write"],"requires":{"os":["windows"]}}} |
pyautogui + pywinauto 控制 Windows 桌面应用。仅 Windows，且必须用 shell_exec 走宿主 Python 进程（code 是沙箱，访问不到真实屏幕和窗口）。核心约束：操作前必须截图确认状态，不盲操作。
shell_execshell_exec(command="python -c \"import pyautogui, pywinauto\"")，缺则提示用户 pip install pyautogui pywinauto pillowshell_exec(command="python <脚本路径>") 执行；不用 python -c 拼复杂多行time.sleep(0.3-1.0) 等 UI 响应；点完按钮等加载完再下一步pyautogui.FAILSAFE = True，鼠标移到屏幕角即终止脚本（紧急退出）{skill_dir}/references/pyautogui-recipes.md