메뉴
多媒体生成、识别、剪辑一体化处理技能。当用户需要处理超长音视频转写文字、要求输出精确到毫秒级的时间轴（SRT/JSON）、通过多模态识别视频场景意图，或者要求进行自动化的智能视频剪辑（剔除气口、语气词、重复口语等无意义部分，分四步精剪）时，请务必使用此技能。即使他们只提到“音视频提取字幕”或“自动剪掉视频空白”，也要触发本技能。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
| name | media-skill |
| description | 多媒体生成、识别、剪辑一体化处理技能。当用户需要处理超长音视频转写文字、要求输出精确到毫秒级的时间轴（SRT/JSON）、通过多模态识别视频场景意图，或者要求进行自动化的智能视频剪辑（剔除气口、语气词、重复口语等无意义部分，分四步精剪）时，请务必使用此技能。即使他们只提到“音视频提取字幕”或“自动剪掉视频空白”，也要触发本技能。 |
本技能旨在帮助用户通过一系列自动化、智能化的工作流，对音视频文件进行高精度识别、时间轴提取以及基于语义和多模态理解的智能剪辑。
data/hotwords.yaml 映射专业术语和自定义词汇，纠正中文同音字识别偏误，同时保证下游剪辑时间戳精准对齐。系统依赖外部 config.txt 文件进行配置，处理任何任务前，请先确保当前目录下存在 config.txt 并读取其内容：
MODEL_DIR: 模型存放目录TEXT_LLM_URL / TEXT_LLM_API_KEY: 文本大模型配置OMINI_URL / OMINI_API_KEY / MIMO_API_KEY: Omini 大模型配置ENABLE_SILENCE_ANALYSIS: 是否开启非语言片段智能保留TTS_ENGINE: TTS 引擎选择 (indextts 或 qwen3-tts)INDEXTTS_MODE / QWEN3TTS_MODE: 对应 TTS 引擎的运行模式 (api 为使用云端接口，local 为本地下载模型运行)INDEXTTS_URL / INDEXTTS_API_KEY / INDEXTTS_MODEL_NAME: IndexTTS API 配置QWEN3TTS_URL / QWEN3TTS_API_KEY / QWEN3TTS_MODEL_NAME: Qwen3-TTS API 配置在开始处理之前，检查系统是否安装了 ffmpeg 并在环境变量中。同时确保 Python 环境已安装 requirements.txt 中的依赖。如果缺失，请指导用户或自动通过终端安装。
对于异步执行脚本的权限与环境要求 (至关重要)： 由于音视频处理非常耗时，所有的调用都必须通过异步包装脚本在后台执行以防 Agent 挂死。
.sh 脚本有执行权限：chmod +x scripts/async_run.sh。调用时使用 sh scripts/async_run.sh python ...。.sh，必须使用提供的 .bat 脚本：调用时使用 scripts\async_run.bat python ...。当用户仅要求“提取字幕”、“识别语音”、“区分说话人”时，请作为独立功能调用以下命令：
⚠️ 重要提示：长音频/视频识别非常耗时，Agent 调用时请务必使用 async_run.sh 脚本，它会自动将任务转入后台执行并立即返回！
sh scripts/async_run.sh python scripts/transcribe.py <音视频文件路径>
# 查询状态: cat output/<文件特征目录>/transcribe_status.json
功能特性：
ffmpeg 提取音频并重采样至 16kHz。FSMN-VAD + Paraformer + CAM++) 进行高精度识别与说话人分离。output/ 目录下生成包含毫秒级时间戳和说话人标签的 SRT 字幕文件 (transcription.srt)、TXT 纯文本 (transcription.txt)，以及包含详细词级/句级数据的 JSON 文件 (transcription.json)。output/<文件特征目录>/transcribe_status.json 以获取精确的进度与状态。当用户要求“根据描述提取片段”、“找一下关于xxx的部分”时，请作为独立功能调用以下命令：
⚠️ 重要提示：涉及视频切片处理非常耗时，Agent 调用时请务必使用 async_run.sh 脚本！
sh scripts/async_run.sh python scripts/extract_by_theme.py <音视频文件路径> "<主题描述>"
# 查询状态: cat output/<文件特征目录>/extract_status.json
功能特性：
output/theme_extract/theme_final.mp4。output/theme_extract/extract_status.json 跟踪进度。当用户请求“智能剪辑”或“精剪”时，确保先运行过 transcribe.py，然后调用：
⚠️ 重要提示：视频处理可能耗时，Agent 调用时请务必使用 async_run.sh 脚本！
sh scripts/async_run.sh python scripts/clip_video.py output/<视频名>/transcription.json <待剪辑视频路径.mp4>
# 查询状态: cat output/<文件特征目录>/clip_status.json
状态查询：Agent 可异步定期读取 output/<文件特征目录>/clip_status.json 跟踪进度。
脚本将严格执行以下 5 步策略：
filter_complex 基于前面计算的时间轴，一次性从原视频上进行精准挖空、拼接，输出无损成片。利用 Omini 模型同时处理视频的声音与画面，深度解构爆款视频的成功要素，包含客观的缺陷评估。
⚠️ 重要提示：涉及视频上传和多模态大模型分析，耗时较长，Agent 调用时请务必使用 async_run.sh 脚本！
sh scripts/async_run.sh python scripts/analyze_video.py <待分析的视频路径.mp4>
# 查询状态: cat output/<文件特征目录>/analyze_status.json
功能特性：
540p，既保留了必要的视觉细节（如鼠标动作、界面切换），又极大降低了分析成本。.md 格式保存在统一的 output/ 目录下。output/<文件特征目录>/analyze_status.json 跟踪进度。基于 IndexTTS-2 提取用户的独特声纹特征，并要求用户指定名称以保存到本地，构建专属的声音样本库。
# 克隆音色 (添加 sh scripts/async_run.sh 可直接后台异步执行，防止 Agent 卡死)
sh scripts/async_run.sh python scripts/dubbing.py clone --audio <参考音频.mp3> --name <自定义音色名称>
# 查询状态: cat output/<自定义音色名称>/clone_status.json
功能特性：
--text 参数为可选。如果不填，系统会自动调用自带的高精度 ASR 模型（如 SenseVoiceSmall）识别参考音频的文本内容并用于克隆。data/voices/ 目录下，并自动提取 .pt 特征文件加速后续合成。支持根据高精度 SRT 字幕文件或直接输入纯文本，全自动生成高质量配音。
⚠️ 重要提示：长文本配音非常耗时，Agent 调用时请务必使用 async_run.sh 脚本，它会自动转入后台执行并立即返回，避免 Agent 卡死超时！
# 方式一：根据字幕文件配音（使用 async_run.sh 自动后台执行）
sh scripts/async_run.sh python scripts/dubbing.py dub --srt <字幕文件.srt> --voice <音色名> --out <输出音频.mp3>
# 查询状态: cat output/<输出音频所在目录>/dubbing_status.json
# 方式二：根据本地文本文件进行配音（推荐！彻底避免命令行长文本转义失败问题，使用 async_run.sh 自动后台执行）
sh scripts/async_run.sh python scripts/dubbing.py dub --text-file "长文本.md" --voice <音色名> --out <输出音频.mp3>
# 查询状态: cat output/<输出音频所在目录>/dubbing_status.json
# 方式三：直接输入纯文本配音（支持超长文本与副语言标签，使用 async_run.sh 自动后台执行）
sh scripts/async_run.sh python scripts/dubbing.py dub --text "大家晚上好啊[laughter]，今天我们要讲一个很有趣的话题[pause]..." --voice <音色名> --out <输出音频.mp3>
# 查询状态: cat output/<输出音频所在目录>/dubbing_status.json
功能特性：
[高兴:1.2], [惊讶:0.8] 等格式。支持的情绪类型包括：高兴, 愤怒, 悲伤, 恐惧, 反感, 低落, 惊讶, 自然。解析后标签文本会被自动移除。async_run.sh 脚本。Agent 可以立即返回并每隔 20 秒定期读取 output/text_dubbing_unknown/dubbing_status.json（或克隆音色的 clone_status.json）以掌握进度，彻底防止工具调用超时卡死。一键为视频生成字幕并压制，支持基于语境的大模型翻译、语气词过滤与自动折行排版。
⚠️ 重要提示：视频转码和压制字幕可能比较耗时，Agent 调用时请务必使用 async_run.sh 脚本！
sh scripts/async_run.sh python scripts/subtitle.py <音视频文件路径> [--lang "目标语言，如：English"] [--out <输出视频路径>]
# 查询状态: cat output/<文件特征目录>/subtitle_status.json
功能特性：
--lang 或者与原视频语言一致，则直接进行错别字修正和智能排版折行。output/<文件特征目录>/subtitle_status.json 跟踪进度。根据视频内容自动提取包含金句、鲜明观点、实用技能的精彩片段，并进行智能剪辑（剔除无用废话）。
⚠️ 重要提示：涉及视频切片和合并，耗时较长，Agent 调用时请务必使用 async_run.sh 脚本！
sh scripts/async_run.sh python scripts/highlight.py <音视频文件路径> [--outdir <输出目录>]
# 查询状态: cat output/<文件特征目录>/highlight_status.json
功能特性：
output/<文件名>_highlights/highlight_status.json 跟踪进度。将上述能力串联，自动完成高光提取、精剪去废话、翻译并压制字幕的全流水线。
⚠️ 重要提示：极度耗时的终极流程，Agent 调用时请务必使用 async_run.sh 脚本！
sh scripts/async_run.sh python scripts/combine.py <音视频文件路径> [--lang "目标语言，如：English"] [--outdir <输出目录>]
# 查询状态: cat output/<文件特征目录>/combine_status.json
功能特性：
output/<文件名>_combined_highlights/combine_status.json 跟踪进度。当用户提供多个场景的“图片+文字”组合时，系统会自动将图片作为背景，将文字进行 AI 配音，并为每一段加上字幕，最后拼成一个完整的视频。
⚠️ 重要提示：由于涉及多次配音和视频合并，非常耗时，Agent 调用时请务必使用 async_run.sh 脚本！
# 首先，将用户提供的场景数据保存为 scenes.json，格式如下：
# [
# {"image_url": "http://...", "text": "第一段文字"},
# {"image_url": "http://...", "text": "第二段文字"}
# ]
sh scripts/async_run.sh python scripts/ppt_video.py --scenes scenes.json [--voice "default"] [--out "output/ppt_final.mp4"]
# 注意：该脚本目前没有专用的 status.json，请 Agent 根据任务完成情况合理预估或检查最终文件是否生成。
功能特性：
当用户请求"更新"、"升级"、"拉取最新代码"时，执行以下命令：
sh scripts/async_run.sh python scripts/media_update.py
# 或直接执行
python scripts/media_update.py
功能特性：
backup/ 目录（带时间戳）config.txt 等本地配置不被覆盖