| name | gui-support |
| description | 提供屏幕截图网格标注和鼠标点击功能，用于VLM模型精确操作图形界面。#高风险操作警告# 任务开始前必须评估风险并获得用户授权，执行过程中无需再次确认。 |
屏幕截图网格标注技能
功能概述
本技能集成了屏幕截图网格标注工具和鼠标点击工具，专为 VLM（视觉语言模型）设计，帮助 AI 模型通过网格坐标精确定位屏幕上的元素，并执行鼠标点击操作。按照使用流程中的步骤执行以准确操作图形界面.
核心工具
1. 网格标注工具
本技能提供两个独立的网格标注工具，分别用于全屏截图和区域截图：
1.1 完整截图工具 (grid_full.py)
功能：
- 全屏截图并添加网格和坐标标注
- 自适应网格参数计算
- 对比度网格线（自动选择黑/白对比色）
使用场景：
- 需要 VLM 模型识别屏幕元素大致位置时
- 分析整体界面布局时
1.2 区域截图工具 (grid_region.py)
功能：
- 以指定中心点截取屏幕 1/5 大小的区域
- 支持自动放大小区域
- 绝对坐标标注
- 对比度网格线
使用场景：
可用参数：
python grid_region.py cx,cy
| 参数 | 简写 | 说明 | 示例 |
|---|
cx,cy | - | 中心点坐标（必需） | 100,200 或 (100, 200) |
注意： 中心点坐标格式支持 x,y、x y 或 (x, y)
2. 坐标点击工具 (click_tool.py)
功能：
- 在指定坐标执行鼠标点击
- 支持单击、双击、右键点击
- 鼠标平滑移动到目标位置后点击
- 获取当前鼠标位置
使用场景：
- VLM 模型已识别目标坐标后
- 需要自动化执行界面操作时
- 验证坐标准确性时
可用参数：
python click_tool.py [-h] [-c CLICKS] [-i INTERVAL] [-b {left,right,middle}] [-d DURATION] [-p] [x] [y]
| 参数 | 简写 | 说明 | 默认值 | 示例 |
|---|
x | - | 屏幕 X 坐标 | - | 100 |
y | - | 屏幕 Y 坐标 | - | 200 |
--clicks | -c | 点击次数 | 1 | -c 2 (双击) |
--interval | -i | 多次点击间隔（秒） | 0.0 | -i 0.5 |
--button | -b | 鼠标按钮（left/right/middle） | left | -b right (右键) |
--duration | -d | 鼠标移动时间（秒） | 0.5 | -d 1.0 |
--position | -p | 获取当前鼠标位置 | - | -p |
--help | -h | 显示帮助信息 | - | -h |
常用示例：
python click_tool.py 100 200
python click_tool.py 500 300 -c 2
python click_tool.py 800 600 -b right
python click_tool.py 100 200 -c 3 -i 0.5
python click_tool.py 100 200 -d 1.0
python click_tool.py --position
高风险操作警告
⚠️ 重要警告： 本技能执行的操作具有高风险性，可能导致意外的系统行为或数据丢失。
必须遵循以下规则：
- 任务前风险评估与授权： 在开始任务前，必须评估操作可能带来的风险并获得用户明确授权，包括：
- 意外修改系统设置
- 错误删除文件
- 干扰正在进行的工作
- 触发意外的程序行为
- 坐标验证： 确保 VLM 模型识别的坐标准确无误
- 执行过程： 获得授权后，按既定方案执行，中途无需再次确认
使用流程
标准工作流（四步法）
注意：所有工具文件与 SKILL.md 位于同一目录下。
-
粗定位：全屏截图，VLM 识别目标大致位置
python grid_full.py
-
精定位：区域截图，VLM 获取精确坐标
python grid_region.py cx,cy
参数说明：
cx,cy：中心点坐标，工具会自动截取以该点为中心、屏幕 1/5 大小的矩形区域
-
执行操作：在精确坐标执行鼠标点击
python click_tool.py x y
-
验证结果：操作后全屏截图，验证操作是否成功
python grid_full.py
配置说明
配置文件 (grid_tool_config.json)
配置文件存储默认输出路径：
{
"default_output_path": "C:\\Users\\MLTZ\\Desktop\\程序\\temp_ai"
}
设置默认输出路径（完整截图工具）：
python grid_full.py --set-default-output "C:\path\to\output\folder"
设置默认输出路径（区域截图工具）：
python grid_region.py 0,0 --set-default-output "C:\path\to\output\folder"
注意事项
- Windows 专用：截图功能使用 Windows API，仅支持 Windows 系统
- 权限要求：可能需要管理员权限才能执行某些操作
- DPI 感知：工具会自动设置 DPI 感知以获取正确的屏幕分辨率
- 字体支持：网格标注会自动尝试系统中文字体
- 输出管理：定期清理生成的截图文件
紧急情况处理
如果执行操作后出现意外情况：
- 立即停止：停止任何正在执行的操作
- 用户通知：立即告知用户发生的情况
- 系统检查：检查系统状态是否正常
- 回滚操作：执行必要的回滚步骤
- 记录问题：记录问题详情，便于后续分析
工具文件列表
grid_common.py - 公共模块（配置、图像处理核心函数）grid_full.py - 完整截图工具grid_region.py - 区域截图工具click_tool.py - 坐标点击工具grid_tool_config.json - 配置文件SKILL.md - 技能说明文档
⚠️ 再次强调： 本技能仅在用户明确要求且取得同意后使用，任务开始前必须评估风险并获得授权，执行过程中无需再次确认。
