ray-video-deduplicator

name	ray_video_deduplicator
description	Ray分布式视频去重工具。使用精确匹配（MD5哈希）在文档级别删除重复视频，基于Ray分布式框架。 当用户提到视频去重、删除重复视频、分布式去重、大规模视频去重等需求时使用此skill。 即使用户没有明确说出"Ray"或"分布式"，只要任务涉及大规模视频去重处理， 就应该使用此skill。
name_zh	Ray分布式视频去重算子
input_params	[{"name":"input","type":"string","required":true,"description":"输入JSON文件路径"},{"name":"output","type":"string","required":true,"description":"输出JSON文件路径"},{"name":"backend","type":"string","required":false,"default":"ray_actor","description":"分布式后端类型（ray_actor/redis）"},{"name":"redis_address","type":"string","required":false,"default":"redis://localhost:6379","description":"Redis服务器地址"},{"name":"video_key","type":"string","required":false,"default":"videos","description":"视频字段的键名"},{"name":"text_key","type":"string","required":false,"default":"text","description":"文本字段的键名"}]
output_params	[{"name":"output","type":"jsonl_file","description":"去重后的JSON文件"}]
tag	数据清洗
publisher	COMMUNITY

Ray Video Deduplicator Ray分布式视频去重 Skill

功能概述

本skill基于Ray分布式框架，使用MD5哈希算法对视频文件进行精确匹配去重。 适用于大规模视频数据的并行处理场景。

触发条件

当用户请求以下任务时，应使用此skill：

• 视频去重
• 删除重复视频
• 分布式去重
• 大规模视频去重
• Ray并行处理

核心参数说明

必需参数

参数	说明
--input	输入JSON文件路径
--output	输出JSON文件路径

可选参数

参数	说明	默认值
--backend	分布式后端类型	ray_actor
--redis_address	Redis服务器地址	redis://localhost:6379
--video_key	视频字段的键名	videos
--text_key	文本字段的键名	text

输入文件格式

[
  {
    "videos": ["/path/to/video1.mp4"]
  },
  {
    "videos": ["/path/to/video2.mp4"]
  },
  {
    "videos": ["/path/to/video1_dup.mp4"]
  }
]

多视频格式：