菜单
图像去重工具。使用图像哈希精确匹配在文档级别删除包含重复图像的样本。 当用户提到图像去重、删除重复图片、图片去重、清理重复图像等需求时使用此skill。 即使用户没有明确说出"图像去重"，只要任务涉及从包含图像的数据中删除重复图片， 就应该使用此skill。
默认使用会先检查来源的 Prompt；你也可以切换为直接命令，或下载本地副本。
决定是否安装前，请先阅读 SKILL.md，以及 SkillsMP 当前展示的配套文件。
用 Codex 或 Claude 帮你安装 复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。
直接命令不会经过审查 Prompt；运行前请先检查来源。
npx skills add https://github.com/cas-bigdatalab/piflow --skill image-deduplicator命令会保持在同一行。复制前请横向滚动并检查完整内容。
想先保存到本地？可下载 SkillsMP 当前能够提供的文件。
Dataspace 文件输入源算子。用于根据 Dataspace 数据源实例 ID 和空间内文件路径下载单个文件，并将该文件作为工作流输入提供给下游算子。该算子没有上游输入，必须作为 DAG 的起始节点使用。
Dataspace 文件输出终止算子。用于接收上游算子的单个文件输出，按指定相对目录上传到 Dataspace 空间目录中，实际文件名自动沿用输入文件名。该算子必须作为 DAG 的终止节点使用。
用于编辑或创建 Gaussian 输入文件（.gjf），支持添加 Link 0 指令（%chk、%oldchk、%nprocshared、%mem）、Route 行关键词、电荷和多重度。可对已有 gjf 文件进行参数填充，也可从零创建新的 gjf 文件。
基于 SOC 职业分类
正在显示 SKILL.md
| name | image_deduplicator |
| description | 图像去重工具。使用图像哈希精确匹配在文档级别删除包含重复图像的样本。 当用户提到图像去重、删除重复图片、图片去重、清理重复图像等需求时使用此skill。 即使用户没有明确说出"图像去重"，只要任务涉及从包含图像的数据中删除重复图片， 就应该使用此skill。 |
| name_zh | 图像去重算子 |
| input_params | [{"name":"input","type":"string","required":true,"description":"输入JSON文件路径"},{"name":"output","type":"string","required":true,"description":"输出JSON文件路径"},{"name":"method","type":"string","required":false,"default":"phash","description":"图像哈希方法（phash/dhash/whash/ahash）"},{"name":"consider_text","type":"bool","required":false,"default":false,"description":"是否同时考虑文本哈希进行去重"},{"name":"image_key","type":"string","required":false,"default":"images","description":"图像字段的键名"},{"name":"text_key","type":"string","required":false,"default":"text","description":"文本字段的键名"}] |
| output_params | [{"name":"output","type":"json_file","description":"去重后的JSON文件，包含去重后的图像样本"}] |
| tag | 数据清洗 |
| publisher | COMMUNITY |
本skill使用图像哈希算法（phash/dhash/whash/ahash）进行图像级别的精确匹配去重。 通过计算每个图像的哈希值，识别并删除包含相同图像的重复文档样本。
当用户请求以下任务时，应使用此skill：
| 参数 | 说明 |
|---|---|
--input | 输入JSON文件路径 |
--output | 输出JSON文件路径 |
| 参数 | 说明 | 默认值 |
|---|---|---|
--method | 图像哈希方法 | phash |
--consider_text | 是否同时考虑文本哈希 | False |
--image_key | 图像字段的键名 | images |
--text_key | 文本字段的键名 | text |
[
{
"images": ["/path/to/image1.png", "/path/to/image2.jpg"]
},
{
"images": ["/path/to/image3.jpg"]
}
]
带文本的格式：
[
{
"images": ["/path/to/image1.png"
| 方法 | 说明 |
|---|---|
phash | 感知哈希，速度快，准确性高（默认） |
dhash | 差值哈希 |
whash | 小波哈希 |
ahash | 平均哈希，最快但最粗糙 |
python scripts/run_image_deduplicator.py \
--input ./input.json \
--output ./output.json
python scripts/run_image_deduplicator.py \
--input ./input.json \
--output ./output.json \
--method dhash
python scripts/run_image_deduplicator.py \
--input ./input.json \
--output ./output.json \
--consider_text True
命令行输出：
[OK] Image deduplication completed!
Method: phash
Consider text: False
Original documents: 7
Deduplicated documents: 3
Removed duplicates: 4
Input file: ./input.json
Output file: ./output.json
输出JSON格式：
[
{"images": ["/path/to/image1.png"]},
{"images": ["/path/to/image2.jpg"]},
{"images": ["/path/to/image3.jpg"]}
]
安装依赖： 本SKILL使用依赖 data_juicer，请在调用前安装好python环境并安装data_juicer，可用以下指令进行安装：
pip install py-data-juicer
额外依赖：
pip install imagededup