القائمة
视频去重工具。使用精确匹配（MD5哈希）在文档级别删除重复视频样本。 当用户提到视频去重、删除重复视频、清理重复视频等需求时使用此skill。 即使用户没有明确说出"视频去重"，只要任务涉及从包含视频的数据中删除重复视频， 就应该使用此skill。
يُحدَّد Prompt الذي يراجع المصدر أولًا بشكل افتراضي. يمكنك التبديل إلى أمر مباشر أو تنزيل نسخة محلية.
اقرأ SKILL.md وأي ملفات مرافقة يعرضها SkillsMP قبل أن تقرر التثبيت.
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
يتجاوز الأمر المباشر Prompt المخصّص للمراجعة. افحص المصدر قبل تشغيله.
npx skills add https://github.com/cas-bigdatalab/piflow --skill video-deduplicatorيبقى الأمر في سطر واحد. مرّر أفقيًا لمراجعته كاملًا قبل النسخ.
تفضّل نسخة محلية؟ نزّل الملفات المتاحة حاليًا لدى SkillsMP.
عرض SKILL.md
استنادا إلى تصنيف SOC المهني
| name | video_deduplicator |
| description | 视频去重工具。使用精确匹配（MD5哈希）在文档级别删除重复视频样本。 当用户提到视频去重、删除重复视频、清理重复视频等需求时使用此skill。 即使用户没有明确说出"视频去重"，只要任务涉及从包含视频的数据中删除重复视频， 就应该使用此skill。 |
| name_zh | 视频去重算子 |
| input_params | [{"name":"input","type":"string","required":true,"description":"输入JSON文件路径"},{"name":"output","type":"string","required":true,"description":"输出JSON文件路径"},{"name":"consider_text","type":"bool","required":false,"default":false,"description":"是否同时考虑文本哈希进行去重"},{"name":"video_key","type":"string","required":false,"default":"videos","description":"视频字段的键名"},{"name":"text_key","type":"string","required":false,"default":"text","description":"文本字段的键名"}] |
| output_params | [{"name":"output","type":"jsonl_file","description":"去重后的JSON文件"}] |
| tag | 数据清洗 |
| publisher | COMMUNITY |
本skill使用MD5哈希算法对视频文件进行精确匹配去重。 通过计算每个视频的哈希值，识别并删除包含相同视频的重复文档样本。
当用户请求以下任务时，应使用此skill：
| 参数 | 说明 |
|---|---|
--input | 输入JSON文件路径 |
--output | 输出JSON文件路径 |
| 参数 | 说明 | 默认值 |
|---|---|---|
--consider_text | 是否同时考虑文本哈希进行去重 | False |
--video_key | 视频字段的键名 | videos |
--text_key | 文本字段的键名 | text |
[
{
"videos": ["/path/to/video1.mp4"]
},
{
"videos": ["/path/to/video2.mp4"]
},
{
"videos": ["/path/to/video1_dup.mp4"]
}
]
带文本的格式：
[
{
"videos": ["/path/to/video1.mp4"],
"text": "视频1的描述文字"
},
{
"videos": ["/path/to/video2.mp4"],
"text": "视频2的描述文字"
}
]
python scripts/run_video_deduplicator.py \
--input ./input.json \
--output ./output.json
python scripts/run_video_deduplicator.py \
--input ./input.json \
--output ./output.json \
--consider_text True
命令行输出：
[OK] Video deduplication completed!
Consider text: False
Original documents: 7
Deduplicated documents: 3
Removed duplicates: 4
Input file: ./input.json
Output file: ./output.json
输出JSON格式：
[
{"videos": ["/path/to/video1.mp4"]},
{"videos": ["/path/to/video2.mp4"]},
{"videos": ["/path/to/video3.mp4"]}
]
安装依赖： 本SKILL使用依赖 data_juicer，请在调用前安装好python环境并安装data_juicer：
pip install py-data-juicer
| 特性 | VideoDeduplicator | RayVideoDeduplicator |
|---|---|---|
| 处理方式 | 单机处理 | 分布式并行处理 |
| 适用场景 | 小规模数据 | 大规模数据 |
| 依赖 | data_juicer | data_juicer + Ray/Redis |