ray-image-deduplicator

name	ray_image_deduplicator
description	Ray分布式图像去重工具。使用图像哈希精确匹配在文档级别删除重复样本，基于Ray分布式框架。 当用户提到图像去重、删除重复图片、分布式去重、大规模图像去重等需求时使用此skill。 即使用户没有明确说出"Ray"或"分布式"，只要任务涉及大规模图像去重处理， 就应该使用此skill。
name_zh	Ray分布式图像去重算子
input_params	[{"name":"input","type":"string","required":true,"description":"输入JSON文件路径"},{"name":"output","type":"string","required":true,"description":"输出JSON文件路径"},{"name":"method","type":"string","required":false,"default":"phash","description":"图像哈希方法（phash/dhash/whash/ahash）"},{"name":"backend","type":"string","required":false,"default":"ray_actor","description":"分布式后端类型（ray_actor/redis）"},{"name":"redis_address","type":"string","required":false,"default":"redis://localhost:6379","description":"Redis服务器地址"},{"name":"image_key","type":"string","required":false,"default":"images","description":"图像字段的键名"},{"name":"text_key","type":"string","required":false,"default":"text","description":"文本字段的键名"}]
output_params	[{"name":"output","type":"jsonl_file","description":"去重后的JSON文件"}]
tag	数据清洗
publisher	COMMUNITY

Ray Image Deduplicator Ray分布式图像去重 Skill

功能概述

本skill基于Ray分布式框架，使用图像哈希算法（phash/dhash/whash/ahash）进行图像级别的精确匹配去重。 适用于大规模图像数据的并行处理场景。

触发条件

当用户请求以下任务时，应使用此skill：

• 图像去重
• 删除重复图片
• 分布式去重
• 大规模图像去重
• Ray并行处理

核心参数说明

必需参数

参数	说明
--input	输入JSON文件路径
--output	输出JSON文件路径

可选参数

参数	说明	默认值
--method	图像哈希方法	phash
--backend	分布式后端类型	ray_actor
--redis_address	Redis服务器地址	redis://localhost:6379
--image_key	图像字段的键名	images
--text_key	文本字段的键名	text

输入文件格式

[
  {
    "images": ["/path/to/image1.png"]
  },
  {
    "images": ["/path/to/image2.jpg"]
  },
  {
    "images": ["/path/to/image1_dup.png"]