| name | linyuebanzi-article-video |
| description | 把一篇技术长文/论文解读自动做成章节式解说视频(1080p, 5-8 分钟)。双主题:warm(奶油底+珊瑚红+cozy-handdrawn 透明插图,亲和感)和 midnight(深蓝黑底+琥珀金+宋体标题+executive-tech 插图,AI 科技感),storyboard 一个 theme 字段切换。每章三种 layout 混排:illustration(左文右图+Ken Burns)/grid(卡片网格逐块入场)/statement(全屏大字)。管线:文章 → 分镜 storyboard.json(6-10 章) → 每章插图(复用 inline-diagram + image-gen,warm 需去底) → Minimax 逐句 TTS(默认 LQ 克隆音色) → HyperFrames 数据驱动渲染成 MP4。当用户说"文章转视频""把这篇文章做成视频""解说视频""文章讲解视频""图文解说""article to video"或给一篇长文要做成带配音的视频时使用。不用于:单概念教学动图(走 linyuebanzi-teaching-animation)、视频封面(走 video-cover-generator)、文章配图(走 linyuebanzi-inline-diagram)。 |
文章解说视频 (article → 章节式解说视频)
输入一篇技术长文(或一个可展开的主题) → 输出 1080p 章节式解说 MP4:
- 版式: 每章三种 layout 可选, 混排制造节奏感——
illustration(默认): 左栏标题+要点卡+术语标签, 右栏 AI 插图(全章 Ken Burns 缓推缓拉)grid: 右栏换成卡片网格, 每块跟旁白逐个长出来(步骤/对比/清单类章节用, 信息感强)statement: 无右栏, 全屏大字判断句(≤3 句的短促章节用, 做呼吸点)terminal: 右栏 macOS 风格终端窗口, 命令逐行打字机入场(讲 CLI 的章节用; HTML 直接渲染, 命令绝不会错字)- 底部逐句字幕 + 章节进度条 + 右上灰色大章号全 layout 通用
- 8-10 章里建议 2-4 章用 grid/statement, 全片全是大图会拖节奏, 完播率差
- 视觉: cozy-handdrawn 温暖手绘系 — 奶油纸底、珊瑚红强调、低饱和粉彩、手绘偏移阴影卡片;插图用 inline-diagram 的 cozy-handdrawn 风格(edit 模式 + LQ IP 参考图),页面配色与插图同族,整体统一
- 节奏: 6-10 章、每章 30-60 秒、全片 5-8 分钟
管线总览 (5 步)
python3 scripts/make_manifest.py <project_dir>
python3 ../linyuebanzi-inline-diagram/scripts/inject_style.py \
--style cozy-handdrawn --manifest <project_dir>/diagrams.json
python3 ../linyuebanzi-image-gen/scripts/generate.py \
--manifest <project_dir>/diagrams-styled.json \
--output-dir <project_dir>/images --parallel
python3 scripts/strip_background.py <project_dir>/images
python3 scripts/tts_pipeline.py <project_dir>
python3 scripts/scaffold.py <project_dir>
bash scripts/build.sh <project_dir>
注意 inject_style.py / generate.py 的路径按实际 skill 安装位置解析(它们分别属于
linyuebanzi-inline-diagram 和 linyuebanzi-image-gen)。
环境: Node.js ≥22 + ffmpeg (npx hyperframes doctor 自检); MULERUN_API_KEY(插图) +
MINIMAX_API_KEY(配音)。
主题 (storyboard 的 theme 字段)
| theme | 视觉 | 插图策略 |
|---|
warm(默认) | 奶油纸底 + 珊瑚红 + 粉彩 | cozy-handdrawn + 去底(透明浮空) |
midnight | 深蓝黑底 + 琥珀金 + 宋体大标题(AI 科技风) | executive-tech + 不去底(暗色相框) |
同一份分镜改 theme 字段即可换肤, 版式/动画/时间轴全部继承。差异只在第 1 步:
- warm:
inject_style.py --style cozy-handdrawn → 生图 → strip_background.py
- midnight:
inject_style.py --style executive-tech → 生图 → 跳过去底(黑线手绘在深底上看不见, 深色设计图自带底色, 直接入框)
加新主题: 模板里复制一个 body[data-theme="..."] 变量块 + 选一个 inline-diagram 风格, 十分钟的事。
配音音色
默认男声 male-qn-jingying(LQ 是男博主), 语速 1.05。在 storyboard.json 的 voice 块改。
用自己的声音: Minimax 支持声音克隆, 一次克隆终身可用:
python3 scripts/clone_voice.py my-voice.m4a --voice-id LQvoice2026 \
--preview-text "大家好，我是林月半子。"
注意: 克隆音色首次合成时 Minimax 收一次性费用; 克隆声音只能用于本人授权的内容。
节奏
时间轴常量在 tts_pipeline.py 顶部: HEAD_PAD 0.7 / GAP 0.18 / TAIL_PAD 0.75。
右侧插图全章做 Ken Burns 缓推缓拉(奇偶章交替方向), 画面不会死停。
如果还嫌慢: 先提 voice.speed(1.05→1.15), 再砍 narration 句数, 不要去动模板动画时长。
为什么是逐句 TTS
narration 写成句子数组,每句单独 TTS。得到的句级时间轴同时驱动三件事:
- 字幕逐句同步(参考片效果,整段字幕会显得呆)
- 要点卡条目锚定: card.items 里的
at: N 表示该条目在第 N 句开口时入场
- 改一句只重跑一句: 用
--skip-existing,删掉对应 mp3 再跑
迭代惯例
| 改了什么 | 重跑什么 |
|---|
| 某句旁白 | 删对应 audio/ch-NN-sNN.mp3 → tts_pipeline.py --skip-existing → scaffold.py → build.sh |
| 某章插图 | 改 storyboard 的 brief → make_manifest.py → 注入+生成(只留要重跑的 item) → 直接 build.sh |
| 卡片/标题文案 | scaffold.py → build.sh(不用重跑 TTS) |
| 增删章节/句子 | 全链路重跑 (时间轴变了) |
storyboard.json 结构 (完整规范见 references/storyboard-guide.md)
{
"topic": "j-lens",
"title": "AI 没说出口的想法，第一次被直接读到了",
"voice": { "provider": "minimax", "voice_id": "female-chengshu", "speed": 1.0 },
"chapters": [
{
"id": 1,
"kicker": "开场 / AI 黑箱",
"headline": ["AI 没说出口的想法", "第一次被直接读到了"],
"subhead": "Anthropic 的 J-lens，正在把模型内部的沉默概念变成可读信号",
"card": {
"title": "先记住这件事",
"items": [
{ "label": "以前", "text": "只能看 AI 说了什么", "at": 2 },
{ "label": "现在", "text": "开始能看它没说什么", "at": 4, "bar": 0.7 }
]
},
"tags": ["J-space", "J-lens", "silent thoughts"],
"narration": [
"你大概会把自己跟AI的聊天记录翻出来，看看它到底说了什么。",
"但你看到的，永远只是它说出口的那部分。"
],
"illustration": {
"id": "ch-01",
"brief": "{插图内容提示词, 不含风格前缀, 写法见 storyboard-guide}"
}
}
]
}
产物结构
<project_dir>/
├── storyboard.json # 分镜 (人工可改的唯一事实源)
├── diagrams.json # 插图 manifest (make_manifest 产物)
├── diagrams-styled.json # 注入 cozy-handdrawn 后
├── images/ch-NN.png # 每章插图
├── audio/
│ ├── ch-NN-sNN.mp3 # 每句配音
│ └── timeline.json # 章节+句级时间轴
├── index.html # scaffold 产物 (勿手改, 改 storyboard 重新 scaffold)
├── renders/<name>.mp4 # 成片
└── preview/montage.png # 每章中点蒙太奇 (渲染后必看)
质检清单
build.sh 内置 lint + validate;lint 必须 0 error- 渲染后必看
preview/montage.png: 每章有没有空插图/文字溢出/标题换行难看
- 插图人工过一遍: LQ 形象是否走形、中文标注是否乱码(乱码就改 brief 里的文字为双语或重跑)
- 抽两章听配音: 断句是否自然,数字/英文是否读对(读错就改 narration 写法,如 "J-lens" 写成 "J透镜")
实测坑
| 现象 | 对策 |
|---|
| 插图把风格词画成了画面文字(实测 "wobble" 出现在图里) | brief 里不要出现英文形容词式描述;发现后改 brief 重跑该张 |
| LQ 形象服装在多张图间漂移(灰T/紫T/黑T) | brief 里统一写死 "LQ 形象穿灰色T恤";一个视频 8-10 张连续出场比文章插图更显眼 |
| Minimax 逐句调用容易撞 RPM 限流 | tts_pipeline.py 已内置 1002 限流 21s 退避,正常现象,等它自己跑完 |
<audio> 没有 id 渲染时静音 | scaffold.py 已自动生成 id,手改 index.html 时别删 |
| 去底把插图里的近白面板一起抠掉 | 泛洪只抠与边缘连通的色块;插图里若有大块 ≈背景色 的面板会被吃掉。brief 里给面板明确写粉彩底色(蓝/绿/紫/橙),或对个别图 --tolerance 12 重跑 |
| 本机代理(127.0.0.1:8899)自签证书导致 Minimax TLS 失败 | 脚本已默认绕过系统代理;需要走代理 export MINIMAX_USE_PROXY=1 |
已知边界
- 要点卡条目 ≤4 条、text ≤18 字,超了会挤(模板不裁切,靠分镜自律)
- headline 每行 ≤11 个汉字,两行为宜
- 每章 narration 4-9 句、每句 ≤32 字(一行字幕)
- 插图纵横比固定 4:3,object-fit contain,别的比例也能放但会留白
- 模板无 silent 模式(这是解说片,无声没有意义)
资源
assets/template/index.html — 数据驱动 HyperFrames 模板(占位符由 scaffold.py 填充)scripts/make_manifest.py — storyboard → 插图 manifestscripts/tts_pipeline.py — 逐句 Minimax TTS + 时间轴scripts/scaffold.py — 合成 index.htmlscripts/build.sh — lint + render + 蒙太奇references/storyboard-guide.md — 分镜拆解规范(第 0 步必读)- 跨 skill 依赖:
linyuebanzi-inline-diagram(风格注入) + linyuebanzi-image-gen(生图)
