메뉴
开箱即用的Windows桌面GUI自动化集成技能，整合原生UI自动化、鼠标控制、截图识别、AI视觉分析，一站式解决Windows桌面自动化需求。支持打开应用、点击、输入、截图、OCR识别、流程自动化。
기본적으로 소스를 먼저 확인하는 Prompt가 선택됩니다. 직접 명령으로 전환하거나 로컬 사본을 다운로드할 수도 있습니다.
설치 여부를 결정하기 전에 SKILL.md와 SkillsMP에 표시된 보조 파일을 읽어 보세요.
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
직접 명령은 검토 Prompt를 거치지 않습니다. 실행하기 전에 소스를 확인하세요.
npx skills add https://github.com/khaicafe/appAI --skill windows-gui명령은 한 줄로 유지됩니다. 복사하기 전에 가로로 스크롤해 전체 내용을 확인하세요.
로컬 사본을 원하시나요? SkillsMP에서 현재 제공할 수 있는 파일을 다운로드하세요.
SOC 직업 분류 기준
SKILL.md 표시 중
| name | Windows GUI 自动化集成 (中文) |
| slug | windows-gui-automation-cn |
| description | 开箱即用的Windows桌面GUI自动化集成技能，整合原生UI自动化、鼠标控制、截图识别、AI视觉分析，一站式解决Windows桌面自动化需求。支持打开应用、点击、输入、截图、OCR识别、流程自动化。 |
| version | 1.0.0 |
| author | xiatian5 |
| tags | ["windows","automation","gui","native","chinese","rpa","desktop"] |
一站式整合Windows平台上的所有桌面GUI自动化能力，开箱即用，无需复杂配置。支持原生UI自动化、鼠标键盘控制、截图识别、AI视觉分析，让你轻松构建Windows桌面自动化工作流。
当用户说这些话时，调用这个技能：
| 功能 | 说明 | 依赖技能 |
|---|---|---|
| 原生UI自动化 | 通过Windows UI Automation API查找和操作控件 | windows-ui-automation |
| 原生鼠标控制 | 高精度原生鼠标移动点击，支持DPI感知 | win-mouse-native |
| 桌面控制 | 整体桌面控制和输入能力 | windows-desktop-control |
| AI视觉自动化 | Midscene AI视觉驱动的桌面自动化 | midscene-computer-automation |
| 截图能力 | 全屏、区域、窗口截图 | windows-screenshot |
| RPA框架 | Windows RPA高级工作流支持 | windows-rpa |
这个技能依赖以下已安装的技能，确保都已安装：
clawhub list | findstr windows
如果缺少任何依赖，运行：
clawhub install windows-ui-automation win-mouse-native windows-desktop-control midscene-computer-automation windows-screenshot windows-rpa
# 使用windows-desktop-control启动应用
Start-Process notepad.exe
Start-Sleep -Milliseconds 500
# 获取窗口句柄
$notepad = Get-Process | Where-Object {$_.ProcessName -eq "notepad"} | Select-Object -First 1
# 使用原生UI自动化找到编辑区域并输入
# (具体实现由windows-ui-automation完成)
# 使用win-mouse-native进行高精度点击
# 已集成，直接调用相应函数即可
# 截图保存
windows-screenshot capture --output screenshot.png
# 使用AI分析截图内容
# (由midscene-computer-automation提供支持)
# 伪代码示例
1. 启动目标应用
2. 等待窗口加载完成
3. 查找"签到"按钮
4. 点击按钮
5. 确认签到成功
6. 记录结果到日志文件
# 从CSV读取数据
# 循环逐条输入到应用表单
# 每次输入后点击保存
# 处理异常情况
# 定时截图对比
# 检测到变化时发送通知
# 记录变化历史
启动阶段
定位阶段
操作阶段
完成阶段
Q: 需要管理员权限吗？ A: 操作大部分应用不需要，但操作UAC提示或系统级应用需要管理员权限。
Q: 支持高DPI显示器吗？
A: 支持，win-mouse-native已经处理了DPI缩放问题。
Q: 可以自动化游戏吗？ A: 这个技能主要针对办公应用和GUI软件，不是为游戏设计的。许多游戏有反作弊保护，使用需谨慎。
如果你觉得这个技能有用，请给它点个星，谢谢！⭐