with one click
stacked-symbol-cleaner
'堆叠符号清洗工具。去除纯符号装饰行/分隔线(====、****、----、~~~~、* * * * *、
Install with Codex or Claude Copy this prompt, paste it into Codex, Claude, or another assistant, and let it review the skill page and install it for you.
Menu
'堆叠符号清洗工具。去除纯符号装饰行/分隔线(====、****、----、~~~~、* * * * *、
Install with Codex or Claude Copy this prompt, paste it into Codex, Claude, or another assistant, and let it review the skill page and install it for you.
Based on SOC occupation classification
PiFlow 技能生成器。当用户完成了一次完整并成功的数据处理任务时调用,根据当前 skills/generated 的本地约定和 references/piflow_skill_template.md 通用模板创建、更新或校验 PiFlow-compatible skill,包括 UTF-8 编码的 SKILL.md、DAG 可读的 input_params/output_params、version/category/tag 元数据、skill.json、scripts/references/assets 资源目录,以及本地校验脚本。仅在用户明确要求生成或保存 skill,或某次数据处理任务已经完成并需要把已验证成功的操作流程沉淀为 skill 时使用;默认不要因为“可能需要 skill”或“当前能力不足”而优先触发此 skill。
LLM 文件转换算子。用于读取一个文本文件,按照给定指令调用大模型进行内容转换,并输出新的文本文件。
领域缩略语展开 Skill:按内置或外部词典将独立缩略语替换为全称,可选在全称后保留原缩写。 适用于技术文本、论文摘要和业务记录中的缩写清洗;不负责模糊缩写消歧或大小写无关替换。
括号类型统一工具。读取结构化数据文件,执行中文/全角括号到 ASCII 半角括号的映射,输出括号已统一的结构化数据文件。 当用户提到括号统一、全角括号转半角、中文括号转换、括号规范化等需求时使用此skill。 即使用户没有明确说出"bracket_normalizer",只要任务涉及括号类符号统一,就应该使用此skill。 不负责全角字母数字转换、Unicode正规化或其他通用全半角处理。
跨字段比较校验工具。读取结构化数据文件(CSV、TSV、Excel等),检查两个字段之间的逻辑约束关系 是否满足(如 start < end、min ≤ max、price >= cost),支持六种比较运算符,多约束可组合使用。 当用户提到跨字段校验、字段间比较、逻辑约束检查、大小关系验证等需求时使用此skill。 即使用户没有明确说出"跨字段",只要任务涉及验证两个字段值之间的逻辑关系,就应该使用此skill。
结构化表格重复行检测工具。仅检查CSV/TSV/Excel等表格型数据中的完全重复记录或指定列子集重复, 标记后续重复行并保留首次出现;不处理文本片段清理、文档去重或其他字段质控。
| name | stacked_symbol_cleaner |
| description | 堆叠符号清洗工具。去除纯符号装饰行/分隔线(====、****、----、~~~~、* * * * *、 -=-=-=- 等),适配论坛帖子、邮件、旧文档中的符号分隔线清理。当用户提到装饰符号行、 分隔线清除、符号堆叠等需求时使用此skill。 |
| name_zh | 堆叠符号清洗算子 |
| input_params | [{"name":"input_path","type":"string","required":true,"description":"输入文件路径"},{"name":"output_path","type":"string","required":true,"description":"输出文件路径"},{"name":"text_columns","type":"string","required":false,"description":"处理的文本列,逗号分隔"},{"name":"min_repeat","type":"string","required":false,"default":"4","description":"最小连续重复次数"}] |
| output_params | [{"name":"output_path","type":"csv_file","description":"清洗后的结构化数据文件"}] |
| tag | 清洗 |
识别并删除纯符号组成的装饰行,支持 3 种模式:(1) 连续重复符号 ====、****、----;(2) 带空格符号 * * * * *、- - - -;(3) 交替符号 -=-=-=-、_._._._。阈值 --min_repeat 控制最小重复次数。
| 参数 | 说明 |
|---|---|
--input_path | 输入 CSV/TSV/Excel 等结构化文件路径 |
--output_path | 输出清洗后文件路径 |
| 参数 | 说明 | 默认值 |
|---|---|---|
--text_columns | 需要处理的文本列,逗号分隔;不填则处理全部字符串列 | 全部字符串列 |
--min_repeat | 判定为堆叠符号装饰行的最小重复次数 | 4 |
输入为结构化表格,文本列可包含纯符号分隔线或装饰行:
id,text
1,"Title\n====\nBody"
python scripts/stacked_symbol_cleaner.py \
--input_path <输入文件> \
--output_path <输出文件> \
[--text_columns col1,col2] \
[--min_repeat 4]
| 参数 | 必填 | 说明 |
|---|---|---|
--input_path | 是 | 输入文件路径 |
--output_path | 是 | 输出文件路径 |
--text_columns | 否 | 处理的文本列 |
--min_repeat | 否 | 最小重复次数(默认4) |
[OK] 堆叠符号清洗完成 -> output.csv
文本列: ['text'], min_repeat=4
========== 和 * * * * * 行 → 已删除
使用仓库内 Python 环境运行,无额外第三方依赖;读取/写入复用共享 data_io。
min_repeat=4 时 ---(3个)保留,----(4个)删除