| name | ai-video-studio |
| description | AI Video Studio — Generate and assemble AI video assets with Seedance 2.0, Fish Audio, FFmpeg, CapCut/Jianying drafts, multilingual storyboards, and the scenario-based `drama` pipeline. Use when the user explicitly requests Seedance generation, AI B-roll, short drama, Fish Audio TTS, CapCut/Jianying drafts, multilingual AI variants, or names AI Video Studio. Route general multi-stage video work through video-production-orchestrator, real-footage editing through video-use, and cinematic product/UI films through video-shotcraft. |
| metadata | {"openclaw":{"emoji":"🎬","category":"creative","tags":["video","seedance","capcut","editing","ai-generation","短视频","短剧","产品推广"],"requires":{"bins":"[Truncated]","env":"[Truncated]"}}} |
AI Video Studio
AI 视频一站式工作流：Seedance 2.0 生成 + CapCut Mate 剪辑 + 云渲染导出。
核心能力
- AI 生成视频片段 — 通过文字/图片提示调用 Seedance 2.0 生成 5/8/11 秒视频
- 自动剪辑合成 — 多片段拼接、字幕叠加、转场效果、BGM
- 云渲染导出 — 生成最终 MP4
一条指令生成场景化视频（NEW — huobao 四层流水线）
drama 子命令封装了「剧本 → 角色/场景 → 分镜 → 渲染」完整链路，由 Sonnet 执行 + Opus advisor 自主挑选叙事模板（问题-转折-解决 / 场景蒙太奇 / 故事剧情化 / hybrid）。方法论参考 reference/huobao/（CC BY-NC-SA 4.0）。
产品推广短视频（一条指令）
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py drama \
--mode product \
--idea "智能保温杯，精英通勤族的一天" \
--scenario "晨跑/地铁/办公室/加班" \
--highlights "12 小时保温、航空级不锈钢、一键温控" \
--shots 6 --duration 5 --ratio 9:16 --lang zh --run
短剧（一条指令）
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py drama \
--mode shortdrama \
--idea "咖啡厅偶遇前任，一句话揭开三年误会" \
--shots 6 --duration 8 --ratio 9:16 --lang zh --run
参数
| 参数 | 说明 |
|---|
--mode | product 场景化产品推广 / shortdrama 短剧 |
--idea | 核心创意或产品一句话描述 |
--scenario | 使用/故事场景约束（可选），advisor 会围绕它构图 |
--highlights | product 模式的卖点列表（advisor 会自然融入剧情，不做硬广） |
--shots | 镜头数量，默认 6 |
--duration | 每镜头时长 5/8/11 秒，默认 5 |
--ratio | 画幅，竖屏短视频建议 9:16 |
--advisor-calls | Opus 咨询次数上限，默认 3 |
--run | 加上则立即执行 Seedance 生成 + ffmpeg 渲染，不加只产出蓝本 JSON |
输出：蓝本 JSON（含 characters / scenes / shots / narrative_template / logline）保存在 $MEDIA_DIR/drama-<mode>-<ts>.json；加 --run 后继续走 pipeline 产出最终 mp4。
完整工作流（底层）
四类交付 profile 与外部渲染器
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py profiles
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py profiles paibao_private
内置 profile：automotive_export、paibao_private、haitun_public、personal_ip。故事板可显式使用 renderer: video_use|hyperframes|remotion 接入真实素材剪辑、HTML/GSAP 动效或 React 参数化模板；profile 不会自动选择依赖 EDL/工程目录的渲染器。
video_use 需要 edl，并要求 output 与 edl.json 同处 edit/；hyperframes 需要 project_dir；remotion 需要 project_dir、entry_point 和 composition_id。两类 Node 工程必须用 package-lock.json 锁定项目本地 CLI 并先执行 npm ci，渲染阶段不会联网补包。外部渲染器只允许从本地 pipeline CLI 显式运行，服务端/LLM 路径默认关闭。
paibao_private 对所有 renderer 都禁止故事板字幕烧录：先输出无字幕剪辑母版，再交由 paibao-course-publisher 完成 ASS、抽帧、哈希与发布门禁。
一键生成：从故事板到成品
创建一个 JSON 故事板文件，然后调用 pipeline：
cat > /tmp/storyboard.json << 'EOF'
{
"title": "产品广告",
"ratio": "16:9",
"shots": [
{"prompt": "A modern smartphone floating in space with golden particles around it, cinematic lighting", "duration": 5, "caption": "全新设计 引领未来"},
{"prompt": "Hands holding a smartphone with holographic UI elements emerging from screen", "duration": 5, "caption": "触手可及的智能"},
{"prompt": "Slow motion water splash revealing a smartphone, dramatic lighting", "duration": 5, "caption": "防水新境界"}
],
"bgm_url": null
}
EOF
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py pipeline /tmp/storyboard.json
输出：最终视频文件路径（如 /root/.openclaw/media/studio-xxx.mp4）
故事板字段说明
| 字段 | 类型 | 说明 |
|---|
title | string | 项目名称 |
ratio | string | 画面比例: 16:9, 9:16, 1:1 |
shots[].prompt | string | Seedance 生成提示词（建议英文，效果更好） |
shots[].duration | int | 每段时长: 5, 8, 11 秒 |
shots[].caption | string | 字幕文字（留空则不加字幕） |
shots[].ref_image | string? | 可选参考图片 URL |
bgm_url | string? | 可选背景音乐 URL |
分步使用（灵活组合）
Step 1: 生成单个视频片段
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py generate \
--prompt "一只橘猫在阳光下打哈欠" \
--ratio 16:9 \
--duration 5
返回：视频文件路径
Step 2: 合成多个片段
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py compose \
--videos /root/.openclaw/media/clip1.mp4,/root/.openclaw/media/clip2.mp4 \
--captions "第一幕,第二幕" \
--ratio 16:9
返回：草稿 URL + 导出视频路径
Step 3: 仅用 CapCut Mate 编辑已有视频
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py compose \
--videos https://example.com/v1.mp4,https://example.com/v2.mp4 \
--captions "开头,结尾" \
--bgm https://example.com/music.mp3 \
--ratio 9:16
FFmpeg 直出模式（推荐，默认）
pipeline 命令默认使用 ffmpeg 在服务端直出 mp4，不依赖剪映客户端。
仅渲染（跳过 Seedance，用已有片段）
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py render --videos clip1.mp4,clip2.mp4 --captions "第一幕,第二幕" --bgm https://example.com/music.mp3 --ratio 16:9 --title myproject
返回：最终 mp4 文件路径
ffmpeg 渲染能力
- 多片段拼接（自动归一化分辨率）
- SRT 字幕烧录（白字黑边，底部居中）
- BGM 混音（原声 100% + BGM 30%）
- H.264 + AAC 编码，秒级渲染
pipeline 默认 ffmpeg
故事板 JSON 中 renderer 默认 ffmpeg，设 capcut 可切换为剪映草稿模式。
注意事项
- Seedance 视频生成通常需要 3-10 分钟/片段，多片段并行提交
- 云渲染需要剪映 API Key（通过
CAPCUT_API_KEY 环境变量设置）
- 若无云渲染 Key，仍可生成草稿文件，手动用剪映客户端导出
- 视频输出目录:
/root/.openclaw/media/
- 推荐中文提示词用于 Seedance，效果更好
环境变量
| 变量 | 用途 | 默认值 |
|---|
SEEDANCE_API_KEY | 豆包 Seedance API | 内置 fallback |
CAPCUT_MATE_URL | CapCut Mate 服务地址 | http://127.0.0.1:30000 |
CAPCUT_API_KEY | 剪映云渲染 Key（可选） | 无 |
