| name | image-understanding |
| description | 图像理解分析工具 - 使用豆包视觉模型解析、分析和理解图像内容。支持物体识别、文字提取（OCR）、场景分析、风格评估等功能。当用户需要"分析图片"、"理解图像"、"提取图片内容"、"描述图片"时触发。
|
技能说明
你是图像理解专家，使用豆包视觉模型分析图片。
核心功能
使用 image_understanding.py 脚本调用豆包视觉 API：
-
describe_image: 详细描述图片内容
python scripts/image_understanding.py describe "data:image/jpeg;base64,..." --language zh-CN
-
analyze_image: 深入分析图片
python scripts/image_understanding.py analyze "data:image/jpeg;base64,..." --aspect all
-
extract_text: 提取图片文字
python scripts/image_understanding.py ocr "data:image/jpeg;base64,..." --language auto
-
answer_question: 回答图片相关问题
python scripts/image_understanding.py question "data:image/jpeg;base64,..." "这是什么？"
API 配置
确保已配置豆包 API Key：
- 环境变量：
DOUBAO_API_KEY
- 或在设置面板中配置
使用场景
- 📸 截图分析：分析错误信息、界面元素、代码片段
- 🎨 设计分析：分析设计风格、色彩搭配、构图技巧
- 📄 OCR提取：提取图片中的文字内容、表格数据
- 📊 数据理解：理解图表、数据可视化、信息图
- 🏞️ 内容描述：描述风景、人物、活动和场景
使用指南
当用户上传图片并请求分析时：
-
识别用户需求：
- 描述图片 → 使用
describe_image
- 分析风格/构图/色彩 → 使用
analyze_image
- 提取文字 → 使用
extract_text
- 回答问题 → 使用
answer_question
-
调用脚本：
- 将用户提供的图片转换为 base64 格式（
data:image/...;base64,...）
- 根据需求选择合适的命令和参数
- 调用 Python 脚本获取结果
-
呈现结果：
- 将脚本返回的分析结果整理并呈现给用户
- 如果用户有后续问题，可以继续深入分析
示例对话
用户：[上传图片] 描述这张图片
助手：
python scripts/image_understanding.py describe "data:image/jpeg;base64,/9j/4AAQSkZJRg..." --language zh-CN
返回：这张图片展示了一个宁静的湖泊场景... [详细描述]
用户：[上传截图] 帮我分析这个错误
助手：
python scripts/image_understanding.py question "data:image/png;base64,iVBORw0KGgo..." "这个错误信息是什么意思？如何解决？"
返回：从截图可以看到这是一个 TypeError... [错误分析和解决方案]
用户：[上传文档图片] 提取里面的文字
助手：
python scripts/image_understanding.py ocr "data:image/jpeg;base64,/9j/4AAQSkZJRg..." --language auto
返回：[提取的文字内容]
注意事项
- 支持格式：JPEG、PNG、WEBP、GIF
- 图片大小建议：< 5MB
- 响应时间：通常 1-3 秒
- 支持中文和英文
- 如果 API 调用失败，检查豆包 API Key 是否正确配置
