菜单
Ray分布式视频去重工具。使用精确匹配（MD5哈希）在文档级别删除重复视频，基于Ray分布式框架。 当用户提到视频去重、删除重复视频、分布式去重、大规模视频去重等需求时使用此skill。 即使用户没有明确说出"Ray"或"分布式"，只要任务涉及大规模视频去重处理， 就应该使用此skill。
默认使用会先检查来源的 Prompt；你也可以切换为直接命令，或下载本地副本。
决定是否安装前，请先阅读 SKILL.md，以及 SkillsMP 当前展示的配套文件。
用 Codex 或 Claude 帮你安装 复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。
直接命令不会经过审查 Prompt；运行前请先检查来源。
npx skills add https://github.com/cas-bigdatalab/piflow --skill ray-video-deduplicator命令会保持在同一行。复制前请横向滚动并检查完整内容。
想先保存到本地？可下载 SkillsMP 当前能够提供的文件。
Dataspace 文件输入源算子。用于根据 Dataspace 数据源实例 ID 和空间内文件路径下载单个文件，并将该文件作为工作流输入提供给下游算子。该算子没有上游输入，必须作为 DAG 的起始节点使用。
Dataspace 文件输出终止算子。用于接收上游算子的单个文件输出，按指定相对目录上传到 Dataspace 空间目录中，实际文件名自动沿用输入文件名。该算子必须作为 DAG 的终止节点使用。
用于编辑或创建 Gaussian 输入文件（.gjf），支持添加 Link 0 指令（%chk、%oldchk、%nprocshared、%mem）、Route 行关键词、电荷和多重度。可对已有 gjf 文件进行参数填充，也可从零创建新的 gjf 文件。
基于 SOC 职业分类
正在显示 SKILL.md
| name | ray_video_deduplicator |
| description | Ray分布式视频去重工具。使用精确匹配（MD5哈希）在文档级别删除重复视频，基于Ray分布式框架。 当用户提到视频去重、删除重复视频、分布式去重、大规模视频去重等需求时使用此skill。 即使用户没有明确说出"Ray"或"分布式"，只要任务涉及大规模视频去重处理， 就应该使用此skill。 |
| name_zh | Ray分布式视频去重算子 |
| input_params | [{"name":"input","type":"string","required":true,"description":"输入JSON文件路径"},{"name":"output","type":"string","required":true,"description":"输出JSON文件路径"},{"name":"backend","type":"string","required":false,"default":"ray_actor","description":"分布式后端类型（ray_actor/redis）"},{"name":"redis_address","type":"string","required":false,"default":"redis://localhost:6379","description":"Redis服务器地址"},{"name":"video_key","type":"string","required":false,"default":"videos","description":"视频字段的键名"},{"name":"text_key","type":"string","required":false,"default":"text","description":"文本字段的键名"}] |
| output_params | [{"name":"output","type":"jsonl_file","description":"去重后的JSON文件"}] |
| tag | 数据清洗 |
| publisher | COMMUNITY |
本skill基于Ray分布式框架，使用MD5哈希算法对视频文件进行精确匹配去重。 适用于大规模视频数据的并行处理场景。
当用户请求以下任务时，应使用此skill：
| 参数 | 说明 |
|---|---|
--input | 输入JSON文件路径 |
--output | 输出JSON文件路径 |
| 参数 | 说明 | 默认值 |
|---|---|---|
--backend | 分布式后端类型 | ray_actor |
--redis_address | Redis服务器地址 | redis://localhost:6379 |
--video_key | 视频字段的键名 | videos |
--text_key | 文本字段的键名 | text |
[
{
"videos": ["/path/to/video1.mp4"]
},
{
"videos": ["/path/to/video2.mp4"]
},
{
"videos": ["/path/to/video1_dup.mp4"]
}
]
多视频格式：
[
{
"videos": ["/path/to/video1.mp4", "/path/to/video2.mp4"]
},
{
"videos": ["/path/to/video3.mp4"]
}
]
python scripts/run_ray_video_deduplicator.py \
--input ./input.json \
--output ./output.json
python scripts/run_ray_video_deduplicator.py \
--input ./input.json \
--output ./output.json \
--backend redis \
--redis_address redis://localhost:6379
命令行输出：
[OK] Ray video deduplication completed!
Backend: ray_actor
Original documents: 7
Deduplicated documents: 3
Removed duplicates: 4
Input file: ./input.json
Output file: ./output.json
输出JSON格式：
[
{"videos": ["/path/to/video1.mp4"]},
{"videos": ["/path/to/video2.mp4"]},
{"videos": ["/path/to/video3.mp4"]}
]
安装依赖：
pip install py-data-juicer ray redis
启动Ray：
ray start --head
或启动Redis：
redis-server