بنقرة واحدة
gui-support
提供屏幕截图网格标注和鼠标点击功能,用于VLM模型精确操作图形界面。#高风险操作警告# 任务开始前必须评估风险并获得用户授权,执行过程中无需再次确认。
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
القائمة
提供屏幕截图网格标注和鼠标点击功能,用于VLM模型精确操作图形界面。#高风险操作警告# 任务开始前必须评估风险并获得用户授权,执行过程中无需再次确认。
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
用于把“锚点 / 打点 / 埋点 / 标记”做法复用到任何项目的设计稿、接口梳理、前端施工图、模块边界和验收清单中。 当用户说“打锚点”“打点”“标记接代码的位置”“埋点版设计”“把设计稿变成施工图”“标出 API/数据/事件/错误处理/权限/实时更新”“给复杂链路做可搜索 ID”时触发。
Use when Xiaxia needs conversation compression, memory summaries, mainline extraction, cost-saving context cleanup, project milestone summaries, Mermaid maps, or task-card structuring. Triggers on "compress context", "save route", "summarize", "主线报告", "压缩上下文", "Mermaid图", "任务卡片", or when conversation exceeds 20 turns.
Use when the user wants one stable entrypoint for conversation continuity, last-window baton summaries, memory retrieval, or packaging scattered memory/context/cache skills into a single reusable workflow.
استنادا إلى تصنيف SOC المهني
| name | gui-support |
| description | 提供屏幕截图网格标注和鼠标点击功能,用于VLM模型精确操作图形界面。#高风险操作警告# 任务开始前必须评估风险并获得用户授权,执行过程中无需再次确认。 |
本技能集成了屏幕截图网格标注工具和鼠标点击工具,专为 VLM(视觉语言模型)设计,帮助 AI 模型通过网格坐标精确定位屏幕上的元素,并执行鼠标点击操作。按照使用流程中的步骤执行以准确操作图形界面.
本技能提供两个独立的网格标注工具,分别用于全屏截图和区域截图:
功能:
使用场景:
功能:
使用场景:
可用参数:
python grid_region.py cx,cy
| 参数 | 简写 | 说明 | 示例 |
|---|---|---|---|
cx,cy | - | 中心点坐标(必需) | 100,200 或 (100, 200) |
注意: 中心点坐标格式支持 x,y、x y 或 (x, y)
功能:
使用场景:
可用参数:
python click_tool.py [-h] [-c CLICKS] [-i INTERVAL] [-b {left,right,middle}] [-d DURATION] [-p] [x] [y]
| 参数 | 简写 | 说明 | 默认值 | 示例 |
|---|---|---|---|---|
x | - | 屏幕 X 坐标 | - | 100 |
y | - | 屏幕 Y 坐标 | - | 200 |
--clicks | -c | 点击次数 | 1 | -c 2 (双击) |
--interval | -i | 多次点击间隔(秒) | 0.0 | -i 0.5 |
--button | -b | 鼠标按钮(left/right/middle) | left | -b right (右键) |
--duration | -d | 鼠标移动时间(秒) | 0.5 | -d 1.0 |
--position | -p | 获取当前鼠标位置 | - | -p |
--help | -h | 显示帮助信息 | - | -h |
常用示例:
# 单击坐标 (100, 200)
python click_tool.py 100 200
# 双击
python click_tool.py 500 300 -c 2
# 右键点击
python click_tool.py 800 600 -b right
# 点击 3 次,间隔 0.5 秒
python click_tool.py 100 200 -c 3 -i 0.5
# 移动 1 秒后点击
python click_tool.py 100 200 -d 1.0
# 获取当前鼠标位置
python click_tool.py --position
⚠️ 重要警告: 本技能执行的操作具有高风险性,可能导致意外的系统行为或数据丢失。
必须遵循以下规则:
注意:所有工具文件与 SKILL.md 位于同一目录下。
粗定位:全屏截图,VLM 识别目标大致位置
python grid_full.py
精定位:区域截图,VLM 获取精确坐标
python grid_region.py cx,cy
参数说明:
cx,cy:中心点坐标,工具会自动截取以该点为中心、屏幕 1/5 大小的矩形区域执行操作:在精确坐标执行鼠标点击
python click_tool.py x y
验证结果:操作后全屏截图,验证操作是否成功
python grid_full.py
配置文件存储默认输出路径:
{
"default_output_path": "C:\\Users\\MLTZ\\Desktop\\程序\\temp_ai"
}
设置默认输出路径(完整截图工具):
python grid_full.py --set-default-output "C:\path\to\output\folder"
设置默认输出路径(区域截图工具):
python grid_region.py 0,0 --set-default-output "C:\path\to\output\folder"
如果执行操作后出现意外情况:
grid_common.py - 公共模块(配置、图像处理核心函数)grid_full.py - 完整截图工具grid_region.py - 区域截图工具click_tool.py - 坐标点击工具grid_tool_config.json - 配置文件SKILL.md - 技能说明文档⚠️ 再次强调: 本技能仅在用户明确要求且取得同意后使用,任务开始前必须评估风险并获得授权,执行过程中无需再次确认。