| name | lumina-flow-story-to-video-path-blend-2-0 |
| description | story_to_video 的 2.0 溶图自治路径;首帧与参考图生视频为主,按分镜完成图生图、文生图和溶图 |
story_to_video path blend 2.0
路径定位
- 本路径面向 Seedance 2.0 / 2.0 类视频模型。
- 本路径不是导演总规范入口;剧情弧线、暗线、穿插叙事、台词节奏和镜头功能已由上游剧本、故事板和 shot_split 决定。
- 本路径负责把已确认的镜头意图落成可控主分镜图、必要参考图和可直接生成视频的短提示词。
- 主策略是先做可靠的当前镜头主画面,再让视频从主画面自然动起来。
- 图片负责锁定身份、服装、空间、道具、构图和状态;文本负责动作起势、镜头运动、时间分镜、情绪落点和声音气质。
视频模式规则
- first_frame 是默认主路径:适合已溶出当前镜头主分镜,视频只需从这张画面自然运动。
- reference_images 适合需要持续约束多个角色、场景、道具、构图或记忆碎片的镜头。
- first_last_frame 只在结尾硬性结果不能拆镜、也不能由首帧自然演化时使用。
- text_to_video 只用于纯空镜、抽象过场或低风险镜头。
- 不因为公共上下文支持某模式就机械使用,按当前镜头风险选择。
分镜图规则
- 先判断这个镜头最需要锁住什么:首帧构图、人物关系、空间一致性、道具证据、状态异变、情绪特写或结尾硬结果。
- 需要同框新画面时,可以把角色图、场景图、道具图溶成一张当前镜头主分镜。
- 主分镜只承担当前镜头起始画面:谁在场、站位如何、动作从哪里开始、光线和构图是什么。
- 可以补特写、动作构图或状态参考图,但它必须解决明确风险:身份、空间、道具交互、动作构图、状态异变、情绪证据或伏笔回收。
- 记忆闪回或蒙太奇镜头只补关键锚点图:现实主锚点、最重要情绪记忆、道具证据、必要场景锚点;不要把每个时间片都生成一张图。
- 15 秒内常规使用 1-4 张图;复杂蒙太奇可以到 5-7 张;接近 9 张时必须优先考虑拆镜或合并锚点。
- 不为丰富画面添加无关参考图,不做海报、拼贴、多格漫画或过程帧。
溶图提示词规则
- 图生图和溶图提示开头必须说明每张参考图职责,例如
图片1 锁场景空间,图片2 锁周行身份服装,图片3 锁护身符材质。
- 溶图最终只生成一张当前镜头画面,不做拼贴、多图并列、前后对比或分镜组。
- 普通主分镜溶图可以承担双人同框、人物与场景融合、道具归属和起始动作构图。
- 特写溶图只能输出单一局部证据,例如眼部发红、手握符纸、刀刃反光、文件袋落桌;不要同时承担全身、全景和多道具。
- 状态异变要写清保留什么、覆写什么:脸和服装保留,伤势、战损、光色、道具状态按剧情覆写,避免模型恢复成默认漂亮状态。
视频提示词写法
- 最终视频提示词应符合 Seedance 写法:固定参数单独放前面,正文按自然镜头节拍推进。
- Lumina 管线字段使用
shotSynopsis + microShots + dialogueLineIndices + audioDirectives + constraintHints;不要再输出旧式长段散文视频提示词。
- 如果输出是直接投 Seedance / 火山引擎平台的完整 prompt,可以使用官方引用
@图片1、@视频1 并合并固定参数、声音和约束;如果输出是 Lumina 管线字段,则每个 micro-shot 用 visualBeat 写一句自然镜头句。
- 视频正文优先先写自然镜头句,再按需补自然镜头提示、参考锚点、空间方向、可见情绪信号和短约束。
- 每个 SHOT / visualBeat 首句主体前置:先写"镜头 + 主体位置 + 主体动作",再写场景/光线/陈设。"环境前置 + 镜头推近到 X" 是触发人物突然闪现 / 拍间画面融合的高发反模式。详见 §主体前置(Subject-First)。
- 景别用 9 档标准词(大全景/全景/远景/中景/中近景/近景/特写/大特写/反应镜头/插入镜头/主观镜头),不写焦距、光圈、景深、85mm/f/1.4 等技术 jargon(Seedance 不响应甚至 degrade);需要镜头质感用
广角空间感 / 自然视角 / 人像压缩感 / 微距质感 + 画面占比锚点(脸占画面 40% / 主体占画面 60%)。
- first_frame 镜头要从首帧自然动起来,首个节拍写清"从首帧画面开始"的动作起势,不凭空换空间或换站位。
- reference_images 镜头需要指代素材时使用真实
img_x 或编译器映射后的 @图片N;编号只代表参考职责,不代表时间顺序。
- 图片生成提示词和视频正文分层:图片阶段可以写完整生成或溶图说明;视频阶段只保留短职责绑定,不把完整图片说明塞进每个时间段。
- 如果已有逐张图片说明,最终视频正文只保留一个公共参考素材段,不重复输出“参考: 图片N=...”的完整职责清单;禁止写“按图片顺序读取参考”。
- 9 秒以上通常拆成 2-4 个自然节拍;13-15 秒叙事镜头通常拆成 3-5 个节拍;快切闪回可以写成同一节拍里的 2-3 个极短镜头。
- 节拍只控制镜头重心和运动,不逐帧锁死姿态;普通段落不强行填写矢量字段。
- 情绪不要只写抽象词,要落成可见信号:眼圈渐红、呼吸停住、手指收紧、嘴角僵住、肩背不动、视线躲开或落定。
- 台词会由编译器追加;视频正文必须为每句关键台词预留说话动作、听者反应、停顿或情绪承接点,不在视觉正文里改写台词原文。
- 编译器按
dialogue.lines[].kind 分别输出 台词N: / 旁白VO / 画外音 / 内心独白;PromptPackage 不要自己拼这些前缀,也不要在 visualBeat 里复述台词原文。
- 如果画外音内容留到下一镜,不把说明文字写成引号台词;当前镜只写画外声方向、声音压迫感和听者反应。
- 声音会由编译器追加;audioDirectives 只补充环境音、动作音、BGM 气质和强度,不把 BGM 说明塞进视觉正文。
- audioDirectives 输出前按环境音、动作音、BGM 三类去重,删除换词重复。
- 蒙太奇和闪回要写清现实锚点、转场动机、记忆锚点和回到现实的落点;不要写成参考图清单流水账。
- 对强物理交互、拥抱、打斗、穿刺、复杂手部操作,优先用特写、剪影、道具、反应镜头和环境后果规避模型短板。
- 最终给模型的正文删除导演表格字段和过细摄影参数,例如叙事目的、关键确认、黄金三秒、观众理解、焦段、光圈和镜头型号。
Seedance 结构偏好
- 好的短提示词不是越短越好,而是信息分区清楚:参考素材职责清楚,画面动作按时间推进,台词和声音有对应的表演位置。
- 可以保留自然镜头句的质感,但不要输出冗长栏目堆叠;最终给模型看的重点是可拍动作、镜头和时间顺序。
- 对对白戏,优先稳定近景或中近景、缓慢推近、过肩、反应特写;用停顿和视线承接台词,不让整段只变成念白。
- 对灾难、觉醒、战斗和记忆闪回,允许快切,但必须给每个短镜头一个清晰功能:破坏证据、身体反应、道具回收、情绪翻转或现实落点。
主体前置(Subject-First)
经验对比(用户实测,同剧情同锚点,仅首句顺序不同):
# 反例(环境前置,人物易闪现 / 拍间融合)
SHOT 1: 明亮的森林小木屋客厅已经完全恢复整洁,阳光铺在木地板上,收纳篮安稳放好,
镜头平视缓慢推近到站在中央的嘟嘟与围绕家人。
# 正例(主体前置,人物稳定建立)
SHOT 1: 嘟嘟立在画面中央,妈妈、爸爸、栗栗、岩土爷爷分立周围,镜头平视缓慢推近;
明亮的森林小木屋客厅完全恢复整洁,阳光铺在木地板上,收纳篮装满安稳放好的玩具。
写法规则:
- 每个 SHOT /
visualBeat 首句先列主体:<主体>(在画面 X 位置) + <动作/状态>,再写<场景> + <光线> + <陈设/道具>。
- carry-over 角色:跨 SHOT 沿用同一角色,本 SHOT 首句仍要显式重提位置/状态("嘟嘟仍立画面中央,胸口微挺"),不要假设模型记得上一拍。
- 新进角色:写入画方向 + 起始位置 + 速度("X 从画面左侧阴影区入画跑近");禁止"突然出现"、"忽然闪现"、"画面里多了 X"等被动揭示语。
- 同框多角色:一句话内按"主→次"顺序列完所有出场角色,再统一接环境。
first_frame 镜头:第一句要回到主分镜首帧的视觉事实,主体仍要在首句出现;不要让"环境改变"挤掉主体。
- 禁止镜头"发现"主体:
镜头推近后揭示出 X / 摇过最终落在 X 身上 是反模式;改成主体客观状态 + 镜头动作。
质量标准
- 分镜图服务当前镜头执行,不做海报、立绘或无关氛围图。
- 首帧主分镜可以独立支撑视频起始画面。
- 额外分镜图有明确职责,不重复、不凑数。
- 视频提示词和首帧或参考图一致,不凭空切换空间或人物。
- 首尾帧使用克制,只服务硬性结果。
- 视频提示词没有重复画风、时长、比例等固定参数。
- 每个节拍都有自然镜头句和明确镜头重心,不是散文化剧情复述。
- 台词有可见表演锚点,声音有对应画面事件或氛围来源。
- 多参考素材用
@图片N 职责绑定清楚,不把参考图当逐帧播放顺序。
- 15 秒镜头如果塞入过多空间、过多人物或过多记忆锚点,应拆镜或改成更少的代表性锚点。
失败回退
- 提示词像资产清单:删掉低价值参考图,只保留现实主锚点、关键人物、关键道具和最强情绪记忆。
- 台词悬空:在对应时间段补说话人的口型、呼吸、眼神和听者反应,不改写台词。
- 声音薄弱:在 audioDirectives 补环境音、动作音、BGM 情绪和强度,并在画面里保留能产生这些声音的事件。
- 动作失真:把复杂交互拆成手部特写、道具结果、反应镜头和环境后果。
- 画面漂移:回到首帧主分镜或补一张职责明确的参考图,不继续加散乱文字。
- 人物闪现 / 拍间融合:检查 visualBeat 首句是否环境前置;改主体前置。carry-over 角色没在本拍重提位置时补一句"X 仍在画面中央"。新进角色补入画方向 + 起始位置 + 速度。
- 被动揭示语:visualBeat 出现"揭示出 X / 最终落在 X / 原来 X 站着 / 突然出现 X / 忽然闪现 X / 画面里多了 X" 时改成主体客观状态 + 镜头动作。
- 景别含糊或焦距 jargon:写"中远景偏宽"或"85mm 浅景深"时改成 9 档标准景别 + 自然短语 + 画面占比,例如"中近景 + 人像压缩感 + 脸占 40%"。