| name | text_fragment_remover |
| description | 指定文本片段删除工具。读取结构化数据中的文本字段，删除用户显式给出的固定片段并保留其他字段不变。
当用户提到删除固定词、固定占位符、固定水印短语、固定噪声片段等需求时使用此skill。
即使用户没有明确说出 skill 名，只要任务是按明确片段从文本字段中移除内容，就应该使用此skill。
不负责按类别自动识别 HTML、URL、emoji、数字、标点、控制字符等内容，这些应交给专用清洗 skill。
|
| name_zh | 文本片段删除算子 |
| input_params | [{"name":"input","type":"string","required":true,"description":"输入文件路径（支持CSV/TSV/JSON/JSONL）"},{"name":"output","type":"string","required":true,"description":"输出文件路径"},{"name":"text_field","type":"string","required":true,"description":"文本字段名"},{"name":"remove_texts","type":"string","required":true,"description":"要删除的文本片段，支持用 || 或换行分隔多个片段"}] |
| output_params | [{"name":"output","type":"csv_file","description":"处理后的数据文件"}] |
| tag | 数据清洗 |
| publisher | COMMUNITY |
Text Fragment Remover 文本片段删除 Skill
功能概述
本skill用于删除文本字段中的用户指定片段：
- 删除固定词或固定短语
- 删除固定占位符或水印
- 删除固定噪声标记
- 保留未命中的其他文本内容
触发条件
当用户明确要求删除某些固定文本片段，而不是按类别自动识别 HTML、URL、emoji、数字或标点时，使用此skill。
核心参数说明
必需参数
--input：输入文件路径--output：输出文件路径--text_field：要处理的文本字段--remove_texts：要删除的文本片段，多个片段可用 || 或换行分隔
可选参数
无。
输入文件格式
支持以下结构化文件格式：
不支持的文件格式会直接报错拒绝，不会自动猜测格式；如需处理其他格式，请先转换为以上支持格式后再使用本skill。
不支持的文件格式会直接报错拒绝，不会自动猜测格式。
使用方法
python scripts/run_text_fragment_remover.py \
--input data.csv \
--output cleaned.csv \
--text_field text \
--remove_texts "[DRAFT]||REMOVE_ME"
输出示例
输入文本：[DRAFT] This is REMOVE_ME sample.
输出文本： This is sample.
环境要求
pip install pandas
注意事项
- 只按字面量删除，不做正则匹配。
- 不会自动识别 HTML、URL、emoji、数字或标点。
- 未命中的文本会原样保留。
