duplicate-detector-fuzzy

name	duplicate_detector_fuzzy
description	模糊去重工具。使用标准库相似度匹配检测并处理数据集中的近似重复记录，可发现非完全一致但高度相似的记录。 当用户提到模糊去重、近似重复检测、相似度去重、文本去重等需求时使用此skill。
name_zh	模糊去重算子
input_params	[{"name":"input","type":"string","required":true,"description":"输入文件路径（支持CSV/TSV/Excel/JSON等）"},{"name":"output","type":"string","required":true,"description":"输出文件路径"},{"name":"subset","type":"string","required":false,"description":"用于比对相似度的文本字段"},{"name":"similarity_threshold","type":"string","required":false,"default":"0.9","description":"相似度阈值（0-1），默认0.9"},{"name":"keep","type":"string","required":false,"default":"first","description":"保留策略（first/last/none/mark）"}]
output_params	[{"name":"output","type":"csv_file","description":"去重后的数据文件"}]
tag	数据清洗
publisher	COMMUNITY

Duplicate Detector Fuzzy 模糊去重 Skill

功能概述

本skill使用标准库相似度算法检测数据集中的近似重复记录。

与精确去重不同，模糊去重可以发现内容高度相似但不完全相同的记录，如：

• 拼写略微不同的姓名
• 格式稍有差异的地址
• 包含少量错别字的文本

保留策略

策略	说明
first	保留第一条记录
last	保留最后一条记录
none	删除所有重复记录
mark	标记重复但不删除

使用方法

python scripts/run_duplicate_detector_fuzzy.py \
  --input data.csv \
  --output deduped.csv \
  --subset "name" \
  --similarity_threshold 0.9

参数说明

参数	必填	说明
--input	是	输入文件路径
--output	是	输出文件路径
--subset	是	比对相似度的文本字段
--similarity_threshold	否	相似度阈值(0-1)，默认0.9
--keep	否	保留策略，默认"first"

环境要求

pip install pandas openpyxl