ai-video-storyboard

name	ai-video-storyboard
description	AI短视频制作｜宫格故事板｜GPT生图｜即梦视频｜剪映后处理 — AI短视频全流程制作Skill，从创意构思→分镜脚本→GPT宫格生图→即梦Seedance视频生成→剪映草稿自动化一条龙。支持广告/影视/科普/教程/产品/直播带货/美食/旅行八大场景模板，10种视觉风格，三套脚本工具链。触发词：「宫格模板」「故事板」「AI短视频」「做视频」「生成分镜」「即梦视频」「短视频制作」「宫格生图」「AI视频」「九宫格视频」「剪映草稿」「视频自动化」。
version	2.0.0
created	2026-05-13
updated	2026-05-13
author	WorkBuddy Agent

AI 短视频宫格故事板制作 v2.0

GPT 生图 → 即梦视频 → 剪映草稿自动化 —— 全流程自动化制作 Skill。

v2.0 重大升级：接入实际 API 调用（GPT Image 2 中转站 + Seedance 2.0 + pyjianyingdraft/CapCutMate），新增美食/旅行场景，扩展至 10 种视觉风格，三套 Python 脚本工具链。

借鉴开源项目：drama-director-skill、pillar/drama-skill、draco-skills-collection、pyJianYingDraft、capcut-mate、CapCutAPI、seedance-2-api

工作流总览

┌─────────────┐    ┌──────────────┐    ┌───────────────┐    ┌──────────────┐    ┌─────────────┐
│  Phase 1    │───▶│   Phase 2    │───▶│   Phase 3     │───▶│  Phase 4     │───▶│  Phase 5    │
│  创意策划   │    │  分镜脚本    │    │  GPT宫格生图  │    │  即梦视频    │    │  剪映草稿   │
│             │    │              │    │               │    │              │    │  自动化     │
│ · 主题确定  │    │ · GPT写脚本  │    │ · 脚本自动调用│    │ · API自动提交│    │ · 草稿生成  │
│ · 场景分类  │    │ · 拆分镜表   │    │ · 中转站兼容  │    │ · 异步轮询   │    │ · 字幕导入  │
│ · 风格定义  │    │ · 质量检查   │    │ · 10种风格    │    │ · 角色一致性  │    │ · 转场配乐  │
│ · 规格设定  │    │              │    │               │    │              │    │ · 渲染导出  │
└─────────────┘    └──────────────┘    └───────────────┘    └──────────────┘    └─────────────┘

脚本工具链

Agent 执行：确定本 SKILL.md 所在目录为 {baseDir}。

脚本	路径	用途
generate_storyboard.py	{baseDir}/scripts/generate_storyboard.py	GPT Image 2 宫格故事板生成（OpenAI 兼容 API）
generate_video.py	{baseDir}/scripts/generate_video.py	Seedance 2.0 视频生成（火山引擎/MuAPI/Atlas Cloud）
jianying_draft.py	{baseDir}/scripts/jianying_draft.py	剪映草稿自动化生成（pyjianyingdraft/CapCutMate）

环境配置

环境变量

变量	说明	示例
IMAGE_API_BASE_URL	GPT Image 2 API 地址	https://api.lxj.asia/v1
IMAGE_API_KEY	GPT Image 2 API Key	sk-xxx
IMAGE_MODEL	图像模型名称	gpt-image-2
VIDEO_API_BASE_URL	Seedance API 地址	https://ark.ap-southeast.bytepluses.com/api/v3
VIDEO_API_KEY	Seedance API Key	sk-xxx
VIDEO_MODEL	视频模型名称	dreamina-seedance-2-0-260128
VIDEO_PROVIDER	视频API提供商	volcengine/muapi/atlascloud

依赖安装

# 必选：三个脚本均为纯 Python，无第三方依赖
# 可选：剪映草稿自动化需要 pyjianyingdraft
pip install pyjianyingdraft
# 可选：使用 CapCutMate 需要 requests
pip install requests
# 可选：获取视频时长需要 ffprobe 或 moviepy
pip install moviepy

Phase 0：开工前定 4 件事

设定项	说明	常见选项
主题	这条视频讲什么？	产品推广、知识科普、品牌故事…
受众	给谁看？	新手/职场/宝妈/摄影圈/泛娱乐…
风格	视觉风格（一旦确定不要改）	见下方 10 种风格
规格	画幅 + 时长	9:16 竖屏 30s / 16:9 横版 15s / 1:1 方形 15s

Phase 1：创意策划与场景分类

八大场景路由

1. 广告类（advertising）

• 适用：产品广告、品牌推广、电商种草
• 提示词：参考@{产品图片}帮我生成{产品名}广告的故事板，16:9横版，包含角色设定、场景设计、镜头调度、分镜画面，排版干净统一，专业影视前期故事板风格。

2. 影视类（filmmaking）

• 适用：短剧、预告片、剧情短片
• 提示词：生成一张{类型}，16:9横版故事板设定图，包含角色设定、场景设计、镜头调度、分镜画面，排版干净统一，专业影视前期故事板风格。

3. 科普类（education）

• 适用：知识讲解、科普动画、概念解释
• 提示词：帮我制作一个"{科普主题}"完整科普故事板，16:9横版，包含角色设定、场景设计、镜头调度、分镜画面，排版干净统一，专业影视前期故事板风格。

4. 教程类（tutorial）

• 适用：操作教程、步骤教学、DIY 指南
• 提示词：帮我制作一个{教程主题}的完整制作教程故事板，3D动漫风格，16:9横版，包含角色设定、场景设计、镜头调度、分镜画面，排版干净统一，专业影视前期故事板风格。

5. 产品类（product）

• 适用：产品故事、从原料到成品、品牌溯源
• 提示词：帮我制作一个{产品名}从{起始状态}到{最终状态}的完整故事板，16:9横版，包含角色设定、场景设计、镜头调度、分镜画面，排版干净统一，专业影视前期故事板风格。

6. 直播带货类（livestream）

• 适用：剧情植入广告、直播间切片、带货短视频
• 提示词：制作一个{剧情类型}故事板，剧情中植入@{产品图片}广告，16:9横版，包含角色设定、场景设计、镜头调度、分镜画面，台词对话，排版干净统一，专业影视前期故事板风格。

7. 美食类（food）🆕

• 适用：美食探店、烹饪教程、食材展示
• 提示词：帮我制作一个"{美食主题}"美食故事板，美食摄影风格，微距特写，暖色调灯光，16:9横版，包含角色设定、场景设计、镜头调度、分镜画面，排版干净统一，专业影视前期故事板风格。

8. 旅行类（travel）🆕

• 适用：旅行Vlog、风景展示、城市漫游
• 提示词：帮我制作一个"{旅行主题}"旅行故事板，风景摄影风格，广角视野，16:9横版，包含角色设定、场景设计、镜头调度、分镜画面，排版干净统一，专业影视前期故事板风格。

Phase 2：分镜脚本生成

步骤 2.1：GPT 生成分镜表

你是短视频导演兼编剧。
请把我给你的主题，输出为"可执行拍摄分镜"。

要求：
- 时长：{总时长，默认30秒}
- 画幅：{画幅比例，默认9:16}
- 风格：{风格设定}
- 节奏：前3秒强钩子，中段信息密度高，结尾有行动引导
- 输出格式为表格，列包含：镜头号、时长、画面内容、景别/机位、镜头运动、屏幕字幕、旁白、音效/音乐建议
- 镜头数控制在 {镜头数量，默认8~10} 镜

主题：{用户主题}
产品/品牌信息（可选）：{产品信息}
目标受众：{受众描述}
必须强调的卖点：{核心卖点}
禁用内容：{黑名单内容}

步骤 2.2：质量检查

✅ 通过标准	❌ 需修改
每镜描述具体（"她拿起桌上的手机"）	描述太虚（"展示产品优势"）
每镜 3~5 秒	单镜超过 6 秒
运镜温和（推近/横移/摇镜）	运镜过猛（旋转/快速拉远）
字幕简短有力	画面塞太多字
风格统一	风格关键词混用

Phase 3：GPT Image 2 宫格生图（脚本自动化）

3A：脚本调用方式

# 基础用法：场景模板
python {baseDir}/scripts/generate_storyboard.py \
  --scene product \
  --topic "云南小粒咖啡从种植到成品上桌" \
  --style cinematic \
  --ratio 16:9 --quality 2k \
  --output ./output

# 自定义提示词
python {baseDir}/scripts/generate_storyboard.py \
  --prompt "16:9故事板，赛博朋克城市，霓虹灯光..." \
  --output ./output

# 带产品参考图（图改图模式）
python {baseDir}/scripts/generate_storyboard.py \
  --scene advertising --topic "蓝牙耳机" \
  --product-image ./earphone.jpg \
  --output ./output

# 使用配置文件
python {baseDir}/scripts/generate_storyboard.py \
  --config project.json --output ./output

3B：API 接入方案

脚本兼容所有 OpenAI /v1/images/generations 兼容 API：

中转站	Base URL	model	size 支持	价格参考
LXJ 中转站	https://api.lxj.asia/v1	gpt-image-2	取决于模型配置	按分组扣费
老张 API	https://api.laozhang.ai/v1	gpt-image-2 / gpt-image-2-vip	vip 支持 1K/2K/4K	$0.03/次
Atlas Cloud	https://api.atlascloud.ai/api/v1	openai/gpt-image-2/text-to-image	1024/1536/2048	按量计费
火山方舟	https://ark.cn-beijing.volces.com/api/v3	doubao-seedream-*	按模型规格	火山币

3C：支持尺寸

画幅	1K	2K	4K
16:9	1280×720	2048×1152	3840×2160
9:16	720×1280	1152×2048	2160×3840
1:1	1280×1280	2048×2048	2880×2880
4:3	1280×960	2048×1536	3312×2480
3:4	960×1280	1536×2048	2480×3312
21:9	1280×544	2048×864	3840×1632

3D：10 种视觉风格 🆕

风格标识	名称	关键词	适用场景
cinematic	电影质感	写实电影感，柔和自然光，低饱和，轻胶片质感	通用、产品、影视
anime	日本动漫	日本动漫风格，吉卜力色彩	教程、科普、美食
cyberpunk	赛博朋克	赛博朋克霓虹灯光，暗色调	科技、游戏、广告
3d	3D 渲染	3D渲染风格，Blender质感	教程、产品展示
japanese	日系清新	日系小清新，柔和光线，低饱和	旅行、美食、生活
watercolor	水彩手绘 🆕	水彩画风格，柔和边缘，手绘质感	科普、教育、文艺
noir	黑色电影 🆕	黑色电影风格，高对比度黑白，戏剧性光影	影视、悬疑、品牌
superhero	美式漫画	美式超级英雄漫画风格	广告、娱乐、年轻人
studio	棚拍质感 🆕	棚拍质感，专业灯光，纯色背景	产品、广告、电商
vintage	复古胶片 🆕	复古胶片风格，颗粒感，暖色调	旅行、怀旧、文艺

3E：单镜头分镜图提示词

生成一张短视频分镜图（storyboard frame）。
画幅：{画幅比例}。
风格：{风格设定}。
主体设定：{角色描述，写死：年龄、发型、服装、配饰}。
场景设定：{场景描述}。
镜头信息：{镜头号}，{景别/机位}，{镜头运动（如有）}。
画面内容：{分镜表中对应镜头的画面描述}。
要求：画面简洁，主体明确，避免多人脸堆叠；不要文字水印。

3F：角色一致性规则

核心原则：固定"主体设定"和"风格设定"，只改"画面内容"。

必须固定	可以变化
角色外貌/年龄/发型/服装	每镜的画面内容
风格关键词（只选一种）	景别和机位
画幅比例	镜头运动（温和范围内）

Phase 4：Seedance 2.0 视频生成（脚本自动化）

4A：脚本调用方式

# 故事板图片转视频（I2V）
python {baseDir}/scripts/generate_video.py \
  --scene storyboard \
  --image-url "https://your-cdn.com/storyboard.png" \
  --motion push --style cinematic \
  --ratio 16:9 --duration 5 \
  --output ./output

# 科普场景专用
python {baseDir}/scripts/generate_video.py \
  --scene storyboard_edu \
  --image-url "https://your-cdn.com/storyboard.png" \
  --output ./output

# 使用 MuAPI 中转
python {baseDir}/scripts/generate_video.py \
  --image-url "https://your-cdn.com/storyboard.png" \
  --provider muapi --api-key $MUAPI_KEY \
  --output ./output

# 使用 Atlas Cloud 中转
python {baseDir}/scripts/generate_video.py \
  --image-url "https://your-cdn.com/storyboard.png" \
  --provider atlascloud --api-base "https://api.atlascloud.ai/api/v1" \
  --output ./output

4B：视频提示词模板

基础三段式：风格氛围 → 动态描述 → 静态描述

场景	模板
通用	将故事板内容@{image}转化成视频。保持人物外观一致、服装一致、画面风格一致。镜头运动：{motion}。氛围：{style}。画面稳定，不要突然变焦，不要换脸。
影视	...转化成视频，不需要字幕。...
科普	...转化成专业的科普视频。动作清晰，信息传达准确。...
教程	...转化成教程演示视频，动作清晰。...
广告	...转化成产品广告视频，节奏紧凑。...

4C：运镜选择

✅ 推荐	❌ 不推荐
缓慢推近 (push)	大幅旋转
轻微横移 (pan)	快速拉远
稳定手持 (stable)	连续变焦
轻微摇镜 (tilt)	跳跃式变焦

4D：API 接入方案

提供商	Base URL	Model	认证方式	特点
火山引擎	https://ark.ap-southeast.bytepluses.com/api/v3	dreamina-seedance-2-0-260128	Bearer Token	官方直连，稳定
MuAPI	https://api.muapi.ai/api/v1	via SDK	x-api-key	角色(@character)、Omni-Reference
Atlas Cloud	https://api.atlascloud.ai/api/v1	bytedance/seedance-2.0/image-to-video	Bearer Token	统一入口，Fast 版可用

4E：角色一致性工作流 🆕

# 步骤1：创建角色表（MuAPI 独有）
char = api.create_character(
    images_list=["https://your-cdn.com/character.jpg"],
    outfit_description="白色衬衫，浅蓝牛仔裤"
)

# 步骤2：在提示词中引用角色
video = api.text_to_video(
    prompt=f"@character:{char_id} 走在咖啡种植园中",
    aspect_ratio="16:9",
    duration=5
)

4F：异步轮询状态机

创建任务(POST) → queued → running → succeeded → 下载视频(24h有效)
                                          → failed → 保存错误信息
                                          → expired → 标记超时

最佳实践：轮询间隔 5s，超时 600s，成功后立即下载转存。

Phase 5：剪映草稿自动化 🆕

5A：方案对比

方案	工具	特点	适用场景
方案一	pyjianyingdraft	Python 库，直接操作草稿 JSON	本地脚本自动化
方案二	CapCutMate	FastAPI 服务，30+ API 接口	远程部署、大模型集成
方案三	CapCutAPI	HTTP API，Gitee 开源	简单 API 调用

5B：方案一 — pyjianyingdraft

pip install pyjianyingdraft

# 从视频文件生成草稿
python {baseDir}/scripts/jianying_draft.py \
  --videos ./output/video_*.mp4 \
  --srt ./subtitles.srt \
  --bgm ./music.mp3 \
  --resolution 1080x1920 \
  --output ./draft

能力：

• ✅ 添加视频/图片/音频/贴纸素材
• ✅ 转场、滤镜、蒙版、动画
• ✅ 文本字幕、气泡、花字
• ✅ 导入 .srt 字幕文件
• ✅ 关键帧动画
• ⚠️ 自动导出仅支持 Windows + 剪映 ≤ 6
• ⚠️ 模板模式仅支持剪映 ≤ 5.9

5C：方案二 — CapCutMate（推荐远程部署）

# Docker 一键部署
git clone https://github.com/Hommy-master/capcut-mate.git
cd capcut-mate && docker-compose pull && docker-compose up -d

# 通过脚本调用
python {baseDir}/scripts/jianying_draft.py \
  --videos ./output/*.mp4 \
  --srt ./subtitles.srt \
  --use-capcutmate \
  --capcutmate-url http://localhost:30000 \
  --output ./draft

核心 API（30+ 接口）：

接口	功能
create_draft	创建草稿
add_videos	批量添加视频
add_audios	批量添加音频
add_images	批量添加图片
add_captions	添加字幕（关键词高亮）
add_effects	添加特效/滤镜
add_keyframes	关键帧动画
add_masks	遮罩效果
gen_video	云端渲染生成视频

集成能力：Coze 插件、n8n 工作流、剪映云渲染。

5D：方案三 — CapCutAPI

git clone https://gitee.com/yangshare/CapCutAPI.git
cd CapCutAPI && pip install -r requirements.txt
python capcut_server.py
# 服务启动在 http://localhost:9001

接口	功能
/create_draft	创建草稿
/add_video	添加视频
/add_audio	添加音频
/add_text	添加文本
/add_subtitle	添加字幕（AI 生成）
/add_sticker	添加贴纸
/save_draft	保存草稿

5E：完整工作流示例

# Step 1: 生成宫格故事板
python scripts/generate_storyboard.py \
  --scene product --topic "云南咖啡" --style cinematic \
  --ratio 16:9 --quality 2k --output ./coffee_project

# Step 2: 故事板转视频
python scripts/generate_video.py \
  --scene storyboard --image-url "https://cdn.example.com/storyboard.png" \
  --motion push --style cinematic --duration 5 \
  --provider volcengine --output ./coffee_project

# Step 3: 生成剪映草稿（所有视频片段）
python scripts/jianying_draft.py \
  --videos ./coffee_project/*.mp4 \
  --srt ./coffee_project/subtitles.srt \
  --bgm ./coffee_project/bgm.mp3 \
  --output ./coffee_project/draft

# Step 4: 在剪映中打开草稿，检查并导出

成本估算

项目	数量	预估价格
GPT Image 2（2K）	1 张	$0.03~0.10
Seedance 2.0 I2V（5s/720p）× 1	1 段	≈¥2~5
Seedance 2.0 I2V × N镜	8~10 段	≈¥10~25
剪映草稿（自动化）	1	免费（本地）
总计	—	约 ¥12~30 / 条

九宫格方案（1张图+1段视频直出）成本约 ¥3~8/条，降低至逐镜方案的 1/5。

避坑清单

❌ 常见错误	✅ 正确做法
分镜表写太虚	写成"镜头里出现什么"
同一角色每镜都变样	主体设定写死，或用 @character 角色
一镜拍太久（>6秒）	拆成两镜，每镜 3~5 秒
运镜太猛	轻运镜，缓慢推近/横移
画面里塞太多字	字越少越好，用字幕解决
风格关键词混用	只选一种风格
Seedance 视频下载不及时	24小时内必须转存
跳过分镜直接生图	先写分镜表再生成，质量更高
API 重复提交导致重复扣费	实现幂等性（Request Hash 控制）
b64_json 解码失败	先去 data:image/png;base64, 前缀，再补 = padding
剪映版本不兼容	模板模式≤5.9，自动导出≤6，草稿生成≥5
视频URL传本地路径	Seedance API 需公网 URL，先上传到图床/OSS

迭代记录

v2.0.0 (2026-05-13)

• 脚本工具链：新增 3 个 Python 脚本（生图/视频/剪映草稿）
• API 接入：GPT Image 2 中转站兼容（LXJ/老张/Atlas Cloud/火山方舟）
• API 接入：Seedance 2.0 多提供商（火山引擎/MuAPI/Atlas Cloud）
• 剪映自动化：pyjianyingdraft + CapCutMate + CapCutAPI 三套方案
• 新增场景：美食类、旅行类
• 新增风格：watercolor/noir/studio/vintage，共 10 种
• 角色一致性：@character 工作流
• 异步轮询：完整状态机 + 超时处理

v1.0.0 (2026-05-13)

• 初始版本
• 六大场景模板
• GPT Image 2 宫格故事板生成流程
• 即梦 Seedance 2.0 视频生成集成
• 剪映后处理操作规范