| name | video-frame-extractor |
| description | 影片与视频编辑、自媒体创作者在需要拆解优秀视频、提取分镜参考或反推提示词时，使用本技能可自动抽取视频关键帧，调用视觉大模型批量分析画面，一键生成结构化描述与创作提示词，轻松搞定视频内容提取与场景分析。 |
| dependency | {"python":["opencv-python>=4.8.0","pillow>=10.0.0","requests>=2.28.0"]} |
视频反推工具 - 抽帧与视觉分析
任务目标
- 本Skill用于: 从视频中提取关键帧,使用视觉模型分析每帧内容,生成结构化描述和提示词
- 能力包含:
- 视频抽帧(支持间隔抽帧、均匀采样)
- 视觉模型API调用(支持GPT-4V/Claude-3.5-Sonnet等)
- 批量图片分析
- 结构化结果输出(JSON格式)
- 触发条件: 用户需要分析视频内容、提取分镜参考、生成创作提示词
前置准备
-
依赖说明:
opencv-python>=4.8.0
pillow>=10.0.0
requests>=2.28.0
-
视觉模型配置:
需要配置视觉模型API密钥(如GPT-4V、Claude-3.5-Sonnet),环境变量格式:
export VISION_API_KEY="your_api_key"
export VISION_API_BASE="https://api.openai.com/v1"
export VISION_MODEL="gpt-4-vision-preview"
-
Coze Bot配置(推荐):
使用您发布的Coze Bot API进行视觉分析,环境变量格式:
export COZE_BOT_ID="7572557757883383858"
export COZE_API_KEY="cztei_qHZQ0A5OSJjsmfZWmVb8bqu2BTbtB240YGbDYLhZpsIr8jER4aL4Aevyii8rnKfNs"
Coze Bot的优势: 集成了官方抽帧插件和视觉模型,无需额外配置
操作步骤
标准流程
步骤1: 视频抽帧
- 输入: 视频文件路径或URL
- 调用脚本:
scripts/video_frame_extractor.py
- 参数:
--input: 视频文件路径或URL--output: 输出图片目录--interval: 抽帧间隔(秒),默认1秒抽1帧--max_frames: 最大抽帧数,默认10帧
- 输出: 抽取的图片序列
python scripts/video_frame_extractor.py \
--input ./input/video.mp4 \
--output ./output/frames \
--interval 3 \
--max_frames 10
步骤2: 视觉分析
方案A: 使用Coze Bot API(推荐)
- 输入: 抽帧图片目录
- 调用脚本:
scripts/coze_bot_client.py
- 参数:
--image_dir: 图片目录--prompt: 分析提示词(可选)--output: 输出JSON文件路径
- 输出: 每张图片的描述和分析结果
python scripts/coze_bot_client.py \
--image_dir ./output/frames \
--prompt "分析场景内容、人物状态、构图特点,适合AI视频创作" \
--output ./output/analysis.json
方案B: 使用其他视觉模型API
- 输入: 抽帧图片目录
- 调用脚本:
scripts/visual_analyzer.py
- 参数:
--input: 图片目录或单张图片路径--output: 分析结果JSON文件路径--prompt: 分析提示词(可选,默认分析场景/人物/构图)
- 输出: 每张图片的描述和分析结果
python scripts/visual_analyzer.py \
--input ./output/frames \
--output ./output/analysis.json \
--prompt "分析场景内容、人物状态、构图特点,适合AI视频创作"
步骤3: 结果整合
- 智能体读取分析结果JSON
- 根据分析结果生成提示词
- 可用于视频创作参考或分镜设计
可选参数
抽帧参数:
--interval: 抽帧间隔(秒),越小抽帧越密集--max_frames: 最大抽帧数,控制输出数量--start_time: 开始时间(秒)--end_time: 结束时间(秒)--resolution: 输出图片分辨率,默认1080P
分析参数:
--prompt: 自定义分析提示词--detail: 分析详细程度(brief/standard/detailed)--batch_size: 批量分析大小,默认5张
资源索引
注意事项
- 视觉模型API密钥需提前配置,否则无法调用分析功能
- 抽帧间隔和最大帧数需根据视频时长合理设置
- 视觉分析结果依赖模型能力,不同模型输出格式可能不同
- 建议先用小规模抽帧测试,确认效果后再大规模处理
使用示例
示例1: 完整反推流程(使用Coze Bot)
python scripts/video_frame_extractor.py \
--input ./input/source_video.mp4 \
--output ./output/frames \
--interval 2 \
--max_frames 8
python scripts/coze_bot_client.py \
--image_dir ./output/frames \
--prompt "详细描述场景、人物、构图,适合AI视频创作参考" \
--output ./output/analysis.json
示例2: 仅抽帧(不分析)
python scripts/video_frame_extractor.py \
--input ./input/video.mp4 \
--output ./output/frames \
--interval 5 \
--max_frames 5
示例3: 单张图片分析
python scripts/coze_bot_client.py \
--image ./output/frames/frame_00001.jpg \
--prompt "分析这张图片的场景风格和构图"
python scripts/visual_analyzer.py \
--input ./output/frames/ \
--output ./analysis.json \
--prompt "分析场景风格和构图"
输出格式
抽帧输出:
./output/frames/
├── frame_00001.jpg
├── frame_00002.jpg
├── frame_00003.jpg
└── ...
分析输出(JSON):
{
"total_frames": 10,
"analysis": [
{
"frame_file": "frame_00001.jpg",
"timestamp": "00:00:00",
"description": "场景描述内容...",
"elements": ["人物", "背景", "道具"],
"style": "风格描述..."
},
{
"frame_file": "frame_00002.jpg",
"timestamp": "00:00:03",
"description": "场景描述内容...",
"elements": ["人物", "背景", "道具"]
技术说明
抽帧技术:
- 使用OpenCV的VideoCapture读取视频
- 按时间间隔均匀采样关键帧
- 支持多种视频格式(MP4/MOV/AVI等)
视觉分析:
- 支持Coze Bot API(推荐,已集成抽帧和视觉模型)
- 支持主流视觉模型API(GPT-4V/Claude-3.5-Sonnet等)
- 批量处理,提升效率
- 结构化输出,便于后续处理
Coze Bot优势:
- 集成官方抽帧插件,抽帧质量高
- 内置视觉模型,无需额外配置
- 一站式服务,抽帧+分析一体化
- 支持流式响应,实时获取结果
性能优化:
- 可配置抽帧间隔,减少冗余帧
- 批量API调用,减少请求次数
- 结果缓存,避免重复分析
