메뉴
当用户要在 Windows 桌面上做 UI 自动化——窗口管理、鼠标点击、键盘模拟、桌面截屏、弹窗处理、应用控件定位时使用。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
| name | desktop-automation |
| description | 当用户要在 Windows 桌面上做 UI 自动化——窗口管理、鼠标点击、键盘模拟、桌面截屏、弹窗处理、应用控件定位时使用。 |
| version | 2.1.0 |
| metadata | {"zhiwei":{"tags":["desktop","ui-automation","windows","pyautogui","pywinauto"],"suggested_tools":["shell_exec","file_read","file_write"],"requires":{"os":["windows"]}}} |
pyautogui + pywinauto 控制 Windows 桌面应用。仅 Windows，且必须用 shell_exec 走宿主 Python 进程（code 是沙箱，访问不到真实屏幕和窗口）。核心约束：操作前必须截图确认状态，不盲操作。
shell_execshell_exec(command="python -c \"import pyautogui, pywinauto\"")，缺则提示用户 pip install pyautogui pywinauto pillowshell_exec(command="python <脚本路径>") 执行；不用 python -c 拼复杂多行time.sleep(0.3-1.0) 等 UI 响应；点完按钮等加载完再下一步pyautogui.FAILSAFE = True，鼠标移到屏幕角即终止脚本（紧急退出）{skill_dir}/references/pyautogui-recipes.md当用户要生成 Word/Excel/PowerPoint、做文档格式转换（Markdown ↔ HTML ↔ DOCX ↔ PDF）、PDF 文本提取、读写 Excel、合并文档或批量转换时使用。
当用户要手动创作或改写一个新的知微 Skill、需要 v2 规范示例模板、排查 description/body 校验失败原因或打磨 metadata.zhiwei 元数据时使用。
当用户要测试或调试 REST / GraphQL 接口、验证响应格式、对比接口文档与实际行为、生成 Mock 数据时使用。
当用户要控制浏览器完成需要 JavaScript 渲染、登录态或交互操作的网页任务时使用。
当用户要通过外部编码 CLI（Claude Code / Codex / Gemini）完成多文件开发、修 bug、跨模块重构、PR 审查、并行任务分发等需要后台 Agent 执行的复杂编码任务时使用。
当用户要撰写文章、报告、邮件、博客、提案、周报或对已有文本做润色改写时使用。