name	gui-support
description	提供屏幕截图网格标注和鼠标点击功能，用于VLM模型精确操作图形界面。#高风险操作警告# 任务开始前必须评估风险并获得用户授权，执行过程中无需再次确认。

屏幕截图网格标注技能

功能概述

本技能集成了屏幕截图网格标注工具和鼠标点击工具，专为 VLM（视觉语言模型）设计，帮助 AI 模型通过网格坐标精确定位屏幕上的元素，并执行鼠标点击操作。按照使用流程中的步骤执行以准确操作图形界面.

核心工具

1. 网格标注工具

本技能提供两个独立的网格标注工具，分别用于全屏截图和区域截图：

1.1 完整截图工具 (grid_full.py)

功能：

全屏截图并添加网格和坐标标注
自适应网格参数计算
对比度网格线（自动选择黑/白对比色）

使用场景：

需要 VLM 模型识别屏幕元素大致位置时
分析整体界面布局时

1.2 区域截图工具 (grid_region.py)

功能：

以指定中心点截取屏幕 1/5 大小的区域
支持自动放大小区域
绝对坐标标注
对比度网格线

使用场景：

精确定位界面控件坐标时
需要放大查看细节时

可用参数：

python grid_region.py cx,cy

参数	简写	说明	示例
`cx,cy`	-	中心点坐标（必需）	`100,200` 或 `(100, 200)`

注意： 中心点坐标格式支持 x,y、x y 或 (x, y)

2. 坐标点击工具 (click_tool.py)

功能：

在指定坐标执行鼠标点击
支持单击、双击、右键点击
鼠标平滑移动到目标位置后点击
获取当前鼠标位置

使用场景：

VLM 模型已识别目标坐标后
需要自动化执行界面操作时
验证坐标准确性时

可用参数：

python click_tool.py [-h] [-c CLICKS] [-i INTERVAL] [-b {left,right,middle}] [-d DURATION] [-p] [x] [y]

参数	简写	说明	默认值	示例
`x`	-	屏幕 X 坐标	-	`100`
`y`	-	屏幕 Y 坐标	-	`200`
`--clicks`	`-c`	点击次数	`1`	`-c 2` (双击)
`--interval`	`-i`	多次点击间隔（秒）	`0.0`	`-i 0.5`
`--button`	`-b`	鼠标按钮（left/right/middle）	`left`	`-b right` (右键)
`--duration`	`-d`	鼠标移动时间（秒）	`0.5`	`-d 1.0`
`--position`	`-p`	获取当前鼠标位置	-	`-p`
`--help`	`-h`	显示帮助信息	-	`-h`

常用示例：

# 单击坐标 (100, 200)
python click_tool.py 100 200

# 双击
python click_tool.py 500 300 -c 2

# 右键点击
python click_tool.py 800 600 -b right

# 点击 3 次，间隔 0.5 秒
python click_tool.py 100 200 -c 3 -i 0.5

# 移动 1 秒后点击
python click_tool.py 100 200 -d 1.0

# 获取当前鼠标位置
python click_tool.py --position

高风险操作警告

⚠️ 重要警告： 本技能执行的操作具有高风险性，可能导致意外的系统行为或数据丢失。

必须遵循以下规则：

任务前风险评估与授权： 在开始任务前，必须评估操作可能带来的风险并获得用户明确授权，包括：
- 意外修改系统设置
- 错误删除文件
- 干扰正在进行的工作
- 触发意外的程序行为
坐标验证： 确保 VLM 模型识别的坐标准确无误
执行过程： 获得授权后，按既定方案执行，中途无需再次确认

使用流程

标准工作流（四步法）

注意：所有工具文件与 SKILL.md 位于同一目录下。

粗定位：全屏截图，VLM 识别目标大致位置
```
python grid_full.py
```
精定位：区域截图，VLM 获取精确坐标
```
python grid_region.py cx,cy
```
参数说明：
- cx,cy：中心点坐标，工具会自动截取以该点为中心、屏幕 1/5 大小的矩形区域
执行操作：在精确坐标执行鼠标点击
```
python click_tool.py x y
```
验证结果：操作后全屏截图，验证操作是否成功
```
python grid_full.py
```

配置说明

配置文件 (grid_tool_config.json)

配置文件存储默认输出路径：

{
  "default_output_path": "C:\\Users\\MLTZ\\Desktop\\程序\\temp_ai"
}

设置默认输出路径（完整截图工具）：

python grid_full.py --set-default-output "C:\path\to\output\folder"

设置默认输出路径（区域截图工具）：

python grid_region.py 0,0 --set-default-output "C:\path\to\output\folder"

注意事项

Windows 专用：截图功能使用 Windows API，仅支持 Windows 系统
权限要求：可能需要管理员权限才能执行某些操作
DPI 感知：工具会自动设置 DPI 感知以获取正确的屏幕分辨率
字体支持：网格标注会自动尝试系统中文字体
输出管理：定期清理生成的截图文件

紧急情况处理

如果执行操作后出现意外情况：

立即停止：停止任何正在执行的操作
用户通知：立即告知用户发生的情况
系统检查：检查系统状态是否正常
回滚操作：执行必要的回滚步骤
记录问题：记录问题详情，便于后续分析

工具文件列表

grid_common.py - 公共模块（配置、图像处理核心函数）
grid_full.py - 完整截图工具
grid_region.py - 区域截图工具
click_tool.py - 坐标点击工具
grid_tool_config.json - 配置文件
SKILL.md - 技能说明文档

⚠️ 再次强调： 本技能仅在用户明确要求且取得同意后使用，任务开始前必须评估风险并获得授权，执行过程中无需再次确认。

name	gui-support
description	提供屏幕截图网格标注和鼠标点击功能，用于VLM模型精确操作图形界面。#高风险操作警告# 任务开始前必须评估风险并获得用户授权，执行过程中无需再次确认。

屏幕截图网格标注技能

功能概述

核心工具

1. 网格标注工具

本技能提供两个独立的网格标注工具，分别用于全屏截图和区域截图：

1.1 完整截图工具 (grid_full.py)

功能：

全屏截图并添加网格和坐标标注
自适应网格参数计算
对比度网格线（自动选择黑/白对比色）

使用场景：

需要 VLM 模型识别屏幕元素大致位置时
分析整体界面布局时

1.2 区域截图工具 (grid_region.py)

功能：

以指定中心点截取屏幕 1/5 大小的区域
支持自动放大小区域
绝对坐标标注
对比度网格线

使用场景：

精确定位界面控件坐标时
需要放大查看细节时

可用参数：

python grid_region.py cx,cy

参数	简写	说明	示例
`cx,cy`	-	中心点坐标（必需）	`100,200` 或 `(100, 200)`

注意： 中心点坐标格式支持 x,y、x y 或 (x, y)

2. 坐标点击工具 (click_tool.py)

功能：

在指定坐标执行鼠标点击
支持单击、双击、右键点击
鼠标平滑移动到目标位置后点击
获取当前鼠标位置

使用场景：

VLM 模型已识别目标坐标后
需要自动化执行界面操作时
验证坐标准确性时

可用参数：

python click_tool.py [-h] [-c CLICKS] [-i INTERVAL] [-b {left,right,middle}] [-d DURATION] [-p] [x] [y]

参数	简写	说明	默认值	示例
`x`	-	屏幕 X 坐标	-	`100`
`y`	-	屏幕 Y 坐标	-	`200`
`--clicks`	`-c`	点击次数	`1`	`-c 2` (双击)
`--interval`	`-i`	多次点击间隔（秒）	`0.0`	`-i 0.5`
`--button`	`-b`	鼠标按钮（left/right/middle）	`left`	`-b right` (右键)
`--duration`	`-d`	鼠标移动时间（秒）	`0.5`	`-d 1.0`
`--position`	`-p`	获取当前鼠标位置	-	`-p`
`--help`	`-h`	显示帮助信息	-	`-h`

常用示例：

# 单击坐标 (100, 200)
python click_tool.py 100 200

# 双击
python click_tool.py 500 300 -c 2

# 右键点击
python click_tool.py 800 600 -b right

# 点击 3 次，间隔 0.5 秒
python click_tool.py 100 200 -c 3 -i 0.5

# 移动 1 秒后点击
python click_tool.py 100 200 -d 1.0

# 获取当前鼠标位置
python click_tool.py --position

高风险操作警告

⚠️ 重要警告： 本技能执行的操作具有高风险性，可能导致意外的系统行为或数据丢失。

必须遵循以下规则：

任务前风险评估与授权： 在开始任务前，必须评估操作可能带来的风险并获得用户明确授权，包括：
- 意外修改系统设置
- 错误删除文件
- 干扰正在进行的工作
- 触发意外的程序行为
坐标验证： 确保 VLM 模型识别的坐标准确无误
执行过程： 获得授权后，按既定方案执行，中途无需再次确认

使用流程

标准工作流（四步法）

注意：所有工具文件与 SKILL.md 位于同一目录下。

粗定位：全屏截图，VLM 识别目标大致位置
```
python grid_full.py
```
精定位：区域截图，VLM 获取精确坐标
```
python grid_region.py cx,cy
```
参数说明：
- cx,cy：中心点坐标，工具会自动截取以该点为中心、屏幕 1/5 大小的矩形区域
执行操作：在精确坐标执行鼠标点击
```
python click_tool.py x y
```
验证结果：操作后全屏截图，验证操作是否成功
```
python grid_full.py
```

配置说明

配置文件 (grid_tool_config.json)

配置文件存储默认输出路径：

{
  "default_output_path": "C:\\Users\\MLTZ\\Desktop\\程序\\temp_ai"
}

设置默认输出路径（完整截图工具）：

python grid_full.py --set-default-output "C:\path\to\output\folder"

设置默认输出路径（区域截图工具）：

python grid_region.py 0,0 --set-default-output "C:\path\to\output\folder"

注意事项

Windows 专用：截图功能使用 Windows API，仅支持 Windows 系统
权限要求：可能需要管理员权限才能执行某些操作
DPI 感知：工具会自动设置 DPI 感知以获取正确的屏幕分辨率
字体支持：网格标注会自动尝试系统中文字体
输出管理：定期清理生成的截图文件

紧急情况处理

如果执行操作后出现意外情况：

立即停止：停止任何正在执行的操作
用户通知：立即告知用户发生的情况
系统检查：检查系统状态是否正常
回滚操作：执行必要的回滚步骤
记录问题：记录问题详情，便于后续分析

工具文件列表

grid_common.py - 公共模块（配置、图像处理核心函数）
grid_full.py - 完整截图工具
grid_region.py - 区域截图工具
click_tool.py - 坐标点击工具
grid_tool_config.json - 配置文件
SKILL.md - 技能说明文档

⚠️ 再次强调： 本技能仅在用户明确要求且取得同意后使用，任务开始前必须评估风险并获得授权，执行过程中无需再次确认。