메뉴
提供屏幕截图网格标注和鼠标点击功能，用于VLM模型精确操作图形界面。#高风险操作警告# 任务开始前必须评估风险并获得用户授权，执行过程中无需再次确认。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
| name | gui-support |
| description | 提供屏幕截图网格标注和鼠标点击功能，用于VLM模型精确操作图形界面。#高风险操作警告# 任务开始前必须评估风险并获得用户授权，执行过程中无需再次确认。 |
本技能集成了屏幕截图网格标注工具和鼠标点击工具，专为 VLM（视觉语言模型）设计，帮助 AI 模型通过网格坐标精确定位屏幕上的元素，并执行鼠标点击操作。按照使用流程中的步骤执行以准确操作图形界面.
本技能提供两个独立的网格标注工具，分别用于全屏截图和区域截图：
功能：
使用场景：
功能：
使用场景：
可用参数：
python grid_region.py cx,cy
| 参数 | 简写 | 说明 | 示例 |
|---|---|---|---|
cx,cy | - | 中心点坐标（必需） | 100,200 或 (100, 200) |
注意： 中心点坐标格式支持 x,y、x y 或 (x, y)
功能：
使用场景：
可用参数：
python click_tool.py [-h] [-c CLICKS] [-i INTERVAL] [-b {left,right,middle}] [-d DURATION] [-p] [x] [y]
| 参数 | 简写 | 说明 | 默认值 | 示例 |
|---|---|---|---|---|
x | - | 屏幕 X 坐标 | - | 100 |
y | - | 屏幕 Y 坐标 | - | 200 |
--clicks | -c | 点击次数 | 1 | -c 2 (双击) |
--interval | -i | 多次点击间隔（秒） | 0.0 | -i 0.5 |
--button | -b | 鼠标按钮（left/right/middle） | left | -b right (右键) |
--duration | -d | 鼠标移动时间（秒） | 0.5 | -d 1.0 |
--position | -p | 获取当前鼠标位置 | - | -p |
--help | -h | 显示帮助信息 | - | -h |
常用示例：
# 单击坐标 (100, 200)
python click_tool.py 100 200
# 双击
python click_tool.py 500 300 -c 2
# 右键点击
python click_tool.py 800 600 -b right
# 点击 3 次，间隔 0.5 秒
python click_tool.py 100 200 -c 3 -i 0.5
# 移动 1 秒后点击
python click_tool.py 100 200 -d 1.0
# 获取当前鼠标位置
python click_tool.py --position
⚠️ 重要警告： 本技能执行的操作具有高风险性，可能导致意外的系统行为或数据丢失。
必须遵循以下规则：
注意：所有工具文件与 SKILL.md 位于同一目录下。
粗定位：全屏截图，VLM 识别目标大致位置
python grid_full.py
精定位：区域截图，VLM 获取精确坐标
python grid_region.py cx,cy
参数说明：
cx,cy：中心点坐标，工具会自动截取以该点为中心、屏幕 1/5 大小的矩形区域执行操作：在精确坐标执行鼠标点击
python click_tool.py x y
验证结果：操作后全屏截图，验证操作是否成功
python grid_full.py
配置文件存储默认输出路径：
{
"default_output_path": "C:\\Users\\MLTZ\\Desktop\\程序\\temp_ai"
}
设置默认输出路径（完整截图工具）：
python grid_full.py --set-default-output "C:\path\to\output\folder"
设置默认输出路径（区域截图工具）：
python grid_region.py 0,0 --set-default-output "C:\path\to\output\folder"
如果执行操作后出现意外情况：
grid_common.py - 公共模块（配置、图像处理核心函数）grid_full.py - 完整截图工具grid_region.py - 区域截图工具click_tool.py - 坐标点击工具grid_tool_config.json - 配置文件SKILL.md - 技能说明文档⚠️ 再次强调： 本技能仅在用户明确要求且取得同意后使用，任务开始前必须评估风险并获得授权，执行过程中无需再次确认。