image-deduplicator

name	image_deduplicator
description	图像去重工具。使用图像哈希精确匹配在文档级别删除包含重复图像的样本。 当用户提到图像去重、删除重复图片、图片去重、清理重复图像等需求时使用此skill。 即使用户没有明确说出"图像去重"，只要任务涉及从包含图像的数据中删除重复图片， 就应该使用此skill。
name_zh	图像去重算子
input_params	[{"name":"input","type":"string","required":true,"description":"输入JSON文件路径"},{"name":"output","type":"string","required":true,"description":"输出JSON文件路径"},{"name":"method","type":"string","required":false,"default":"phash","description":"图像哈希方法（phash/dhash/whash/ahash）"},{"name":"consider_text","type":"bool","required":false,"default":false,"description":"是否同时考虑文本哈希进行去重"},{"name":"image_key","type":"string","required":false,"default":"images","description":"图像字段的键名"},{"name":"text_key","type":"string","required":false,"default":"text","description":"文本字段的键名"}]
output_params	[{"name":"output","type":"json_file","description":"去重后的JSON文件，包含去重后的图像样本"}]
tag	数据清洗
publisher	COMMUNITY

Image Deduplicator 图像去重 Skill

功能概述

本skill使用图像哈希算法（phash/dhash/whash/ahash）进行图像级别的精确匹配去重。 通过计算每个图像的哈希值，识别并删除包含相同图像的重复文档样本。

触发条件

当用户请求以下任务时，应使用此skill：

• 图像去重
• 删除重复图片
• 图片去重
• 清理重复图像
• 文档图像去重

核心参数说明

必需参数

参数	说明
--input	输入JSON文件路径
--output	输出JSON文件路径

可选参数

参数	说明	默认值
--method	图像哈希方法	phash
--consider_text	是否同时考虑文本哈希	False
--image_key	图像字段的键名	images
--text_key	文本字段的键名	text

输入文件格式

[
  {
    "images": ["/path/to/image1.png", "/path/to/image2.jpg"]
  },
  {
    "images": ["/path/to/image3.jpg"]
  }
]

带文本的格式：

[
  {
    "images": ["/path/to/image1.png"