video-deduplicator

name	video_deduplicator
description	视频去重工具。使用精确匹配（MD5哈希）在文档级别删除重复视频样本。 当用户提到视频去重、删除重复视频、清理重复视频等需求时使用此skill。 即使用户没有明确说出"视频去重"，只要任务涉及从包含视频的数据中删除重复视频， 就应该使用此skill。
name_zh	视频去重算子
input_params	[{"name":"input","type":"string","required":true,"description":"输入JSON文件路径"},{"name":"output","type":"string","required":true,"description":"输出JSON文件路径"},{"name":"consider_text","type":"bool","required":false,"default":false,"description":"是否同时考虑文本哈希进行去重"},{"name":"video_key","type":"string","required":false,"default":"videos","description":"视频字段的键名"},{"name":"text_key","type":"string","required":false,"default":"text","description":"文本字段的键名"}]
output_params	[{"name":"output","type":"jsonl_file","description":"去重后的JSON文件"}]
tag	数据清洗
publisher	COMMUNITY

Video Deduplicator 视频去重 Skill

功能概述

本skill使用MD5哈希算法对视频文件进行精确匹配去重。 通过计算每个视频的哈希值，识别并删除包含相同视频的重复文档样本。

触发条件

当用户请求以下任务时，应使用此skill：

• 视频去重
• 删除重复视频
• 清理重复视频
• 文档视频去重

核心参数说明

必需参数

参数	说明
--input	输入JSON文件路径
--output	输出JSON文件路径

可选参数

参数	说明	默认值
--consider_text	是否同时考虑文本哈希进行去重	False
--video_key	视频字段的键名	videos
--text_key	文本字段的键名	text

输入文件格式

[
  {
    "videos": ["/path/to/video1.mp4"]
  },
  {
    "videos": ["/path/to/video2.mp4"]
  },
  {
    "videos": ["/path/to/video1_dup.mp4"]
  }
]

带文本的格式：

[
  {
    "videos": ["/path/to/video1.mp4"],
    "text": "视频1的描述文字"
  },
  {
    "videos": ["/path/to/video2.mp4"],
    "text": "视频2的描述文字"
  }
]

使用方法

基本用法

python scripts/run_video_deduplicator.py \
  --input ./input.json \
  --output ./output.json

同时考虑文本去重

python scripts/run_video_deduplicator.py \
  --input ./input.json \
  --output ./output.json \
  --consider_text True

输出示例

命令行输出：

[OK] Video deduplication completed!
   Consider text: False
   Original documents: 7
   Deduplicated documents: 3
   Removed duplicates: 4
   Input file: ./input.json
   Output file: ./output.json

输出JSON格式：

[
  {"videos": ["/path/to/video1.mp4"]},
  {"videos": ["/path/to/video2.mp4"]},
  {"videos": ["/path/to/video3.mp4"]}
]

环境要求

安装依赖： 本SKILL使用依赖 data_juicer，请在调用前安装好python环境并安装data_juicer：

pip install py-data-juicer

与 RayVideoDeduplicator 的区别

特性	VideoDeduplicator	RayVideoDeduplicator
处理方式	单机处理	分布式并行处理
适用场景	小规模数据	大规模数据
依赖	data_juicer	data_juicer + Ray/Redis

注意事项

1. 视频路径：输入JSON中的视频路径应为绝对路径或相对于工作目录的路径
2. 哈希算法：使用 MD5 哈希对视频二进制数据进行精确匹配
3. consider_text：设为 True 时，视频和文本都相同才算重复
4. 支持格式：支持 MP4、AVI、MOV 等常见视频格式