| name | privacy_token_remover |
| name_zh | 隐私标识清理算子 |
| description | 隐私标识移除工具。读取结构化文本数据，按用户选择的类别删除或替换邮箱、IPv4 地址、电话号码等文本中的隐私标识。
当用户提到移除邮箱、清洗 IP、替换电话、从文本里剔除隐私 token 等需求时使用此 skill。
它只处理文本中的 token 清理，不做字段级遮蔽，也不负责图片脱敏、音频脱敏、结构化字段加密或假数据生成。
|
| tag | 数据清洗 |
| input_params | [{"name":"input_path","type":"string","required":true,"description":"输入文件路径"},{"name":"output_path","type":"string","required":true,"description":"输出文件路径"},{"name":"text_columns","type":"string","required":false,"description":"处理的文本列，逗号分隔；默认全部字符串列"},{"name":"remove_email","type":"string","required":false,"description":"是否移除邮箱，默认关闭"},{"name":"remove_ip","type":"string","required":false,"description":"是否移除 IPv4 地址，默认关闭"},{"name":"remove_phone","type":"string","required":false,"description":"是否移除电话号码，默认关闭"},{"name":"replace_token","type":"string","required":false,"description":"替换占位符；默认空字符串表示直接删除"}] |
| output_params | [{"name":"output_path","type":"string","description":"清理后的结构化数据文件"}] |
| publisher | COMMUNITY |
Privacy Token Remover 隐私标识清理 Skill
功能概述
按用户指定类别移除或替换文本中的隐私标识：
所有类别默认关闭，需要用户显式用开关开启。
触发条件
- 需要在结构化文本字段中删除邮箱、IP、电话等隐私标识。
- 需要在发布、共享或训练前对文本 token 做轻量清理。
核心参数说明
必需参数
--input_path：输入文件路径--output_path：输出文件路径
可选参数
--remove_email：开启邮箱移除--remove_ip：开启 IPv4 地址移除--remove_phone：开启电话号码移除--text_columns：处理的文本列，逗号分隔；默认全部字符串列--replace_token：替换占位符；默认空字符串表示直接删除
输入文件格式
支持 CSV、TSV、XLS、XLSX、SAV 格式的结构化数据。
不支持的文件格式会直接报错拒绝，不会自动猜测格式；如需处理其他格式，请先转换为以上支持格式后再使用本 skill。
使用方法
python scripts/run_privacy_token_remover.py \
--input_path data.csv \
--remove_email \
--output_path cleaned.csv \
--replace_token "[REMOVED]"
python scripts/run_privacy_token_remover.py \
--input_path data.csv \
--remove_email --remove_ip \
--output_path cleaned.csv
输出示例
输入 Contact alice@example.com from 192.168.1.10
使用 --remove_email --remove_ip --replace_token "[HIDDEN]" 后输出：
Contact [HIDDEN] from [HIDDEN]
环境要求
使用项目 Python 环境运行，依赖 pandas 和共享 data_io 读写工具。
注意事项
- 所有类别默认关闭，用户必须用
--remove_email/--remove_ip/--remove_phone 显式开启。
- IP 规则只覆盖 IPv4，不覆盖 IPv6。
- 电话规则覆盖常见连续数字和 3-3/4-4 位分段格式。
- 只处理选中的文本列，其他列保持原样。
