菜单
拉片——把一条对标视频拆成可复刻 SOP。管线:下载→whisper逐字稿→抽帧(粗览+按需密抽)→判型→逐段填表→产出①逐段拉片报告(它怎么做的,工具链带置信度)+②复现SOP(你怎么抄)。用于"学习/复刻优秀博主的爆款视频"。触发词:"拉片"、"拉这条视频"、"拆解爆款视频"、"复刻对标博主"、"理解这条视频"、"这个视频在讲什么"、"学习博主视频"、"video understand"、"看懂小红书视频"。
用 Codex 或 Claude 帮你安装 复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。
基于 SOC 职业分类
用 AI 做「可控的 IP 系列形象」的完整方法论与实战提示词 —— 把一个吉祥物/IP 角色扩展成一整套 风格统一、角色一致、可延展(换装/动作/入景/周边)的系列，而不是只出一张惊艳的单图。 当任务涉及:设计一套 IP/吉祥物/虚拟人系列、做 IP 家族(多角色同风格)、AI 出图"第一张惊艳但成不了系列/ 一致性崩"、角色三视图/转身/表情包/换装/动作设计/把角色融进场景、黏土风/羊毛毡/盲盒手办质感、 多图参考锁角色一致性、2D 形象转 3D 质感、给 IP 做周边延展、品牌吉祥物落地 —— 时使用本 skill。 出现 IP设计/IP系列/吉祥物/虚拟人/角色一致性/character consistency/IP family/换装设计/动作设计/ 黏土风/羊毛毡/即梦/Lovart/Nano Banana/Seedream/多图参考、找IP设计参考/对标成熟IP/世界级IP范例/moodboard/benchmark 等关键词也应触发，即使用户没说"skill"。 它管的是【二维形象设计层】:产出一套锁死的一致角色 + 转身/姿势/场景图。要把这些图真正做成可绑骨的 3D 角色/AR 资产,接 [[ar-3d-animation-pipeline]] / [[tripo-api]] / [[hunyuan-3d]];多版本横向择优用 [[parallel-concepts-tournament]];给一致性/美感立评审用 [[evaluator-design]]。 ⚠️ 活文档:每做一个新 IP,把新踩的坑/新验证的提示词追加进 §6、§7。
用 codex 生成/编辑高质量位图(照片、插画、产品图、UI mockup、概念图、贴图、IP 形象、透明抠图)的实战方法论 —— codex 自带一个 `image_gen` 内置工具(底层 gpt-image,无需 OPENAI_API_KEY、免联网配置),你用自然语言让 codex "生成一张图/改这张图",它会【自动触发】系统 imagegen skill 调用该工具。本 skill 教你怎么把它的质量拉满 + 在 harness 多 agent workflow 里批量驱动 codex 生图。 当任务涉及:用 codex/AI 生成图片、出概念图/海报/产品图/封面/hero、给图换背景/改光影/抠透明、做一批资产或变体、 IP 形象/吉祥物出图、给 [[ai-ip-series-design]] 真正"跑图"、文生图/图生图/图改图、gpt-image/透明背景/4K 出图、 在 .star workflow 里 fan-out 多个 codex 并行生图 —— 时使用本 skill。出现 codex 生图/image_gen/gpt-image-2/ gpt-image-1.5/imagegen/抠图/chroma key/批量生图/generate-batch 等关键词也应触发,即使没说"skill"。 ⚠️ codex 专属:claude/kimi 没有这个内置工具。真要做可绑骨的 3D/AR 见 [[ar-3d-animation-pipeline]]/[[tripo-api]]; 多 agent 编排见 [[author-workflow]]。⚠️ 活文档:新踩的坑/新验证的参数往 §7 追加。
Use when an agent needs to author a dynamic multi-agent workflow at runtime: write a Starlark program (loops, conditionals, data-driven fan-out) that calls agent()/parallel()/phase()/log() over the harness runtime, declare a mandatory workflow(name, design_intent) header, run it with `harness workflow run-script`, and read the resulting WorkflowRun/WorkflowStep records back from the dashboard snapshot or store.
从 0 到 1 制作浏览器 WebAR 的 3D 动画角色/场景的完整流程、技术原理与已验证工具链。 当任务涉及"把一个 IP 形象/吉祥物做成「扫描识别卡或冰箱贴 → 3D 角色临现并做动作(倒茶/挥手/提灯等)」的 AR 体验", 或需要:概念图(art direction)定调、AI 图生3D(Tripo/TRELLIS)、给 Q版角色自动绑骨(Mixamo)、 移动端模型优化(gltf-transform meshopt)、react-three-fiber 场景装配、手作骨骼动画、 给程序化动画做客观精度评估(几何 + 视觉 agent 双评估)、MindAR 图像追踪接入、AR 资产部署真机 —— 时, 务必使用本 skill。涉及 codex/FLUX 生成对版参照图、Tripo API 自动建模绑骨、TRELLIS、rembg 抠图、 GLB 减面压缩、骨骼蒙皮、扫贴/识别卡 AR、3D 吉祥物动起来、AR 冰箱贴 等关键词时也应触发, 即使用户没明说"流程"或"skill"。
把"3D角色一段连续表演"(如 揭小贤走到茶桌坐下冲茶讲解)拆成 Beat(与配音cue逐句对齐的最小动作单元), 每个 Beat 走 设计→实现→多维evaluator(workflow)→loop 的生产管线。核心物料=【坐标契约 scene-layout.json】 (角色/道具/落座点/抓取点共用一份坐标,authoring与runtime一致=手到壶到)。当任务涉及:分镜化角色表演、 与配音同步的动作序列、道具拿放(re-parent)、走路/坐下/倒茶类动作、茶汤/重力类物理合理性检查、 逐beat评审 —— 时使用本 skill。配套 workflow:项目 workflows/beat-eval-loop.star。 ⚠️ 活文档:揭小贤茶艺表演的每个 beat 实作经验都往本文件追加。
用 Blender MCP(blender-mcp 插件 + socket)程序化驱动 Blender 做 3D 动画管线的实战方法论 + evaluator + 踩坑。 当任务涉及:用 Blender 给角色做/改动画、重定向 Mixamo 动作、IK 摆姿势、NLA 合成多 clip、导出 glTF/GLB、 在 Blender 里渲染验证、清理/重绑骨、把 Tripo/FBX 模型加工成带多动作的 AR 模型 —— 时使用本 skill。 出现 blender、blender-mcp、execute_code、bpy、armature、retarget、IK、glTF导出、骨骼动画、动画评估 等关键词也应触发。 配套:动画来源/管线的全局地图见 `ar-3d-animation-pipeline`;Tripo 建模绑骨见 `tripo-api`。 ⚠️ 活文档:每次实践有新经验就往"踩坑/经验"追加。
| name | video-understand |
| description | 拉片——把一条对标视频拆成可复刻 SOP。管线:下载→whisper逐字稿→抽帧(粗览+按需密抽)→判型→逐段填表→产出①逐段拉片报告(它怎么做的,工具链带置信度)+②复现SOP(你怎么抄)。用于"学习/复刻优秀博主的爆款视频"。触发词:"拉片"、"拉这条视频"、"拆解爆款视频"、"复刻对标博主"、"理解这条视频"、"这个视频在讲什么"、"学习博主视频"、"video understand"、"看懂小红书视频"。 |
| metadata | {"deps":"ffmpeg, whisper(openai-whisper); note 模式复用同仓库 xhs-crawler"} |
crawler 只能拿到视频的直链 + 元数据,给不了"理解"。真正读懂一条视频要走多模态管线, 而且分工明确:口播交给 whisper,画面交给视觉模型(就是你/agent 直接 Read 关键帧),两条模态合起来才叫理解。
"拉片"= 把一条对标视频拆成可复刻的 SOP。它拉的是两层:
STEP1 定维度 → STEP2 拆素材(脚本) → STEP3 判型 → STEP4 两遍细看(粗览→密抽) → STEP5 逐段填表 → STEP6 双报告+复现SOP
先定这次要拉哪些维度,勾什么出什么:台词 / 节奏卡点 / 特效动效 / 版式镜头 / 字体 / 调色 / 配乐 / 工具链。默认全勾;只关心某几个就只拉那几个(省 token、更聚焦)。
# 三选一来源;note 模式自动取直链下载(需 RNOTE_API_KEY)
python3 prep_video.py --note 6a0b295c00000000350296a1
python3 prep_video.py --url http://...rednotecdn.com/...mp4
python3 prep_video.py --file ./clip.mp4
# 可选: --model medium(更准) --frames 12 --scene 0.25 --out-dir DIR
产出 clip.mp4 / audio.txt / audio.json(带时间戳) / kf-*.jpg(粗帧) / aligned.md(★音画对齐) / manifest.json。
音画对齐:帧时间戳(ffmpeg)+ 口播分段时间(whisper json)融合进 aligned.md——每帧标"该时刻在说什么"。
先判这是哪类片,选对应"眼光"——三类三套拆法:
| 类型 | 长什么样 | 重点看什么 |
|---|---|---|
| 口播/教程 | 录屏 ± 露脸、讲操作 | 工具链 / 操作步骤 / 屏幕信息 → 配合下面【枚举软件模式】抓工具指纹 |
| 叙事/剧情/vlog | 实景、有情节 | 镜头/运镜/转场/配乐/情绪曲线 → 重画面与节奏,whisper 次要 |
| 混剪/图文卡点 | 快切、卡点、大字版式 | 卡点节奏 / 字体版式 / 转场样式 |
均匀稀疏抽帧会漏关键段(实测漏过绑骨段、视频里展示的 blog 段)且贵。改两遍:
aligned.md + 粗帧(kf-*.jpg,约每 9s),标出有戏/看不懂的时间段(动效在变、版式在切、出现新软件 UI、信息密集处)。python3 prep_video.py --file clip.mp4 --out-dir <与粗览同目录> --densify "65-80,120-135" --densify-fps 5
dense.md(密帧 d-*.jpg ↔ 时间 ↔ 口播,复用同目录 whisper 分段)。还看不懂就调高 --densify-fps 或缩窄区间。按段对齐成表,每段一行:时间码 | 画面(代表帧) | 台词 | 图形/特效 | 节奏 | 作用。
产出① 逐段拉片报告(它怎么做的)
产出② 复现 SOP(你怎么抄)
逐字稿 → 实拍 → 图形层 → 剪辑 → 收尾)方法论来源:对标博主 yan的ai世界《用 Claude Code 拉片》(2026-06)。成本参考:30min 视频全量拉片 ≈ $25(Opus 主力 + Haiku 跑杂活),普通视频约 40 万 token;拆一个博主 3–5 条即可摸清其工作流。
这是一个独立模式,不要用上面的稀疏关键帧来做。 实测教训:要列全一条教程视频用到的所有软件 (如"混元3D网页 + 桌面DCC + ..."),稀疏场景帧(十来张、还缩到640宽)必漏——因为软件常出现在 静态/过渡帧,而判定软件靠的是窗口标题栏/菜单栏这种小字,缩放后糊掉、稀疏采样跳过。 症状就是"软件一个一个挤出来、永远列不全"。
正确三步:
bash enumerate_tools.sh <video.mp4> <out> 1/2(每2秒一帧,不缩放)。ocr.swift(macOS Vision,中英)抓屏上文字/面板名 → <out>/ocr.txt。
OCR 抓得到网页面板文字,但桌面软件的窗口标题/菜单是小字,OCR 常漏 → 必须第3步。Read 所有 d-*.jpg,
对每帧判"哪个软件的UI"(窗口标题/菜单/面板布局/时间线样式);桌面 DCC 判到具体是
Blender/Maya/C4D/3ds Max/Houdini/ZBrush 哪个;最后合并去重。两种并行编排方式(都验证过,结论一致=本视频2个软件:混元3D网页+Cinema 4D):
A. harness dynamic workflow(首选,可复现+落 dashboard):video_understand.star,一条命令跑完
全片视觉枚举 + 内容理解,run 被 journal、能在 Agent Dashboard 回看:
需先安装
harnessCLI(workflow 工具),来自 https://github.com/cyl19970726/multi-agent-harness; 见author-workflowskill 与该仓库 README。版本要与该仓库的 workflow API 对应。
# 1) 先抽密集帧+OCR
bash skills/video-understand/enumerate_tools.sh <video.mp4> /tmp/vu_dense 1/2
# 2) 从 harness 仓库 cwd 跑(run 才落到 dashboard 的 store)
harness workflow run-script <此目录>/video_understand.star \
--args '{"frames_dir":"/tmp/vu_dense/","frame_count":72,"aligned":"/tmp/vu_hunyuan/aligned.md","batch":8}' \
--start-runtime --progress
# 结果在 stdout 的 run.final_output.result(software_count/all_software/desktop_dcc/steps/...)
程序里:视觉 scan 批用 provider="claude",合并去重 + 读逐字稿做内容理解用 provider="codex"(省成本)。
--dry-run 可先验证语法;--start-runtime 自动拉起 provider runtime。
B. Workflow 工具(ultracode 下临时 fan-out):parallel 分批,schema 用标准 JSON Schema
({type:'object',properties:{...},required:[...]}),再一个 synthesize agent 合并。
⚠️ 两个坑:① codex 不能读图,视觉枚举必须 claude;codex 只跑文本/合成步。
② schema 约定不同:harness run-script 用扁平 {key:"hint"}(列表靠"每行一个"+splitlines);
Workflow 工具用标准 JSON Schema。别混。
download_video 已带 UA+Referer;note 模式会逐个试 best+backup 直链。rnote API 偶发 502/503/429 时,可改用上一轮抓到的 CDN 直链走 --url。data.data[0].note_list[0]、note/video=data.data[0]直接是note);mp4 有的在 n['video'] 有的散在别处。_find_note/extract_video 已兼容(搜整条 note)。--initial_prompt 引导简体;要更准用 --model medium。