piflow

PiFlow 技能生成器。当用户完成了一次完整并成功的数据处理任务时调用，根据当前 skills/generated 的本地约定和 references/piflow_skill_template.md 通用模板创建、更新或校验 PiFlow-compatible skill，包括 UTF-8 编码的 SKILL.md、DAG 可读的 input_params/output_params、version/category/tag 元数据、skill.json、scripts/references/assets 资源目录，以及本地校验脚本。仅在用户明确要求生成或保存 skill，或某次数据处理任务已经完成并需要把已验证成功的操作流程沉淀为 skill 时使用；默认不要因为“可能需要 skill”或“当前能力不足”而优先触发此 skill。

LLM 文件转换算子。用于读取一个文本文件，按照给定指令调用大模型进行内容转换，并输出新的文本文件。

领域缩略语展开 Skill：按内置或外部词典将独立缩略语替换为全称，可选在全称后保留原缩写。 适用于技术文本、论文摘要和业务记录中的缩写清洗；不负责模糊缩写消歧或大小写无关替换。

括号类型统一工具。读取结构化数据文件，执行中文/全角括号到 ASCII 半角括号的映射，输出括号已统一的结构化数据文件。 当用户提到括号统一、全角括号转半角、中文括号转换、括号规范化等需求时使用此skill。 即使用户没有明确说出"bracket_normalizer"，只要任务涉及括号类符号统一，就应该使用此skill。 不负责全角字母数字转换、Unicode正规化或其他通用全半角处理。

跨字段比较校验工具。读取结构化数据文件（CSV、TSV、Excel等），检查两个字段之间的逻辑约束关系 是否满足（如 start < end、min ≤ max、price >= cost），支持六种比较运算符，多约束可组合使用。 当用户提到跨字段校验、字段间比较、逻辑约束检查、大小关系验证等需求时使用此skill。 即使用户没有明确说出"跨字段"，只要任务涉及验证两个字段值之间的逻辑关系，就应该使用此skill。

结构化表格重复行检测工具。仅检查CSV/TSV/Excel等表格型数据中的完全重复记录或指定列子集重复， 标记后续重复行并保留首次出现；不处理文本片段清理、文档去重或其他字段质控。

全角/半角字符规范化工具。读取结构化数据文件，将文本中的全角ASCII字符（字母、数字、标点）转换为半角形式， 并可按需执行指定 Unicode 正规化。适用于中日韩混排科研文本的统一预处理，不负责空白行删除、拼写纠错或重复标点合并。 当用户提到全角转半角、半角规范化、全半角统一、全角字母数字转换等需求时使用此skill。

不可见字符清洗工具。移除零宽空格、BOM、软连字符、双向文本控制符、C0控制字符等 63 个码点 的不可见/干扰字符。当用户提到不可见字符、零宽空格、BOM 清除、控制字符清洗等需求时使用此skill。

语种过滤工具。对指定或全部文本列进行语言检测，可选择保留或剔除目标语种， 输出过滤后的数据并附带 detected_lang 列。

低信息量过滤工具。读取结构化数据文件，对指定文本列同时校验字符总数与行数是否落在阈值区间内，输出过滤后的合规行。 当用户提到低信息量过滤、字符数筛选、短文本过滤、超长文本过滤、行数过滤、信息量阈值等需求时使用此skill。 即使用户没有明确说出"低信息量"，只要任务涉及同时按字符数和行数两个维度过滤文本行，就应该使用此skill。 不负责按单词数过滤（用words_num_filter）、按token数过滤（用token_num_filter）、按最长单行长度过滤（用maximum_line_length_filter）或按平均行长度过滤（用average_line_length_filter）。与这些skill的关键区别在于：本skill同时校验字符总数与行数两个维度，且原生支持CSV/TSV/Excel多列输入、不依赖data_juicer。

乱码修复工具。自动检测并修复因编码错误解释导致的乱码文本（Mojibake），支持 GBK/UTF-8、Latin-1/UTF-8、 Big5、Shift_JIS 等 11 种编码链自动尝试，通过字符合理度评分自动选择最佳修复结果。 当用户提到乱码修复、编码修复、mojibake、文字乱码、编码错误等需求时使用此skill。

无用数字字符清理工具。读取结构化文本数据，对指定或全部文本字段移除无语义的独立数字字符，输出清理后的结构化文件。 当用户提到无用数字字符清理、数字噪声删除、文本中的杂散数字清理等需求时使用此skill。 即使用户没有明确说出"number_noise_cleaner"，只要任务涉及从文本中删除无业务意义的数字字符，就应该使用此skill。 不负责数值规整、字段校验或通用正则替换。

字段分布校验工具。读取结构化数据文件（CSV、TSV、Excel等），按模式检查数值字段统计特征或分类字段频率分布是否合理。 数值模式用于检查均值、标准差、中位数、分位数等统计量；分类模式用于检查类别数上限和单类占比是否异常。 当用户提到分布校验、统计特征验证、类别频率检查、类别倾斜检测等需求时使用此skill。 即使用户没有明确说出"分布校验"，只要任务涉及验证字段整体分布是否偏移或失衡，就应该使用此skill。

PDF/OCR伪影清洗工具。修复从学术论文PDF提取文本时的常见问题：断行连字符拼接（dehyphenation）、 页码去除、Unicode连字归一化（fi→fi）、页眉页脚去除。 当用户提到PDF文本清洗、OCR伪影处理、断行修复、连字符拼接等需求时使用此skill。

隐私标识移除工具。读取结构化文本数据，按用户选择的类别删除或替换邮箱、IPv4 地址、电话号码等文本中的隐私标识。 当用户提到移除邮箱、清洗 IP、替换电话、从文本里剔除隐私 token 等需求时使用此 skill。 它只处理文本中的 token 清理，不做字段级遮蔽，也不负责图片脱敏、音频脱敏、结构化字段加密或假数据生成。

质量标识字段检测工具。检查数据表是否配置质量标识字段，验证标识字段的存在性、值规范性 （是否为预定义合法值）、非空完整性，标记不合格数据。 当用户提到质量标识检查、QC字段检测、标识字段合规等需求时使用此skill。

引用完整性校验工具。读取子表及参考表，检查外键值是否存在于参考键集合中，标记孤立记录行并输出结果文件。 当用户提到外键检查、引用完整性、孤立记录、父子表引用等需求时使用此skill。 即使用户没有明确说出“引用完整性”，只要任务涉及检查字段值是否能在参考表中找到，就应该使用此skill。 不负责重复行、空值、列存在性、字段格式等其他校验任务。

科学公式/化学式规整 Skill：统一文本列中的数学符号、Unicode 上下标、化学反应箭头、全角 ASCII 和多余空格。 适用于实验记录、论文摘录、化学反应式和科学公式文本；不负责公式语义解析、单位换算或化学配平。

智能引号/排版字符规范化工具。将弯引号、长破折号、省略号等排版字符转为标准 ASCII 形式， 适配 Word/PDF/网页文本的后处理清洗。当用户提到智能引号、弯引号转直引号、排版字符规范化、 长破折号等需求时使用此skill。

拼写变体标准化工具。统一英美拼写差异（colour→color、analyse→analyze 等），内置 153 词条 （含屈折形式 covered/covering 等），支持自定义词典扩展。当用户提到英美拼写统一、拼写变体、 British/American spelling 等需求时使用此skill。

'堆叠符号清洗工具。去除纯符号装饰行/分隔线（====、****、----、~~~~、* * * * *、

Tab/空格规范化工具。读取结构化数据文件，执行制表符展开、行尾空格清理与可选公共缩进去除，输出空白已统一的结构化数据文件。 当用户提到Tab转空格、制表符转空格、缩进规范化、行尾空格清除、公共缩进去除等需求时使用此skill。 即使用户没有明确说出"tab_space_normalizer"，只要任务涉及文本中的Tab/空格归一，就应该使用此skill。 不负责文本内容改写、拼写纠错、重复标点合并或其他非空白字符清理。

格式一致性校验工具。读取被检验表和标准化数据模式表，比对两者的表头结构（字段名、字段数量）是否一致， 校验通过后输出数据文件。当用户提到格式一致性校验、表头校验、数据结构比对、字段一致性检查等需求时使用此skill。 即使用户没有明确说出"格式一致性"，只要任务涉及比对数据表结构与标准模式结构，就应该使用此skill。

时序/数值异常标记工具。对指定或全部数值列进行 Z-Score 异常和差分突变检测， 输出 anomaly_flag 与 anomaly_reasons，不删除数据，适用于时序稳态/突变异常识别。

时间/货币归一工具。读取结构化文本数据，将常见日期格式统一为YYYY-MM-DD，将$、€、¥/￥前缀金额转换为USD/EUR/CNY数值表达。 当用户提到统一日期格式、标准化货币金额、清洗时间表述等需求时使用此skill。 即使用户没有明确说出skill名，只要任务涉及日期或货币符号的归一化，就应该使用此skill。 不负责汇率换算、时区转换或非前缀货币单位解析。

时序平缓性检测工具。检测时序数据是否符合渐变规律，包括突变跳点检测（相邻点变化超阈值） 和方向振荡检测（窗口内反复升降），对应功能说明(八)模块中的平缓性检测维度。 当用户提到时序平缓性、渐变规律、突变跳点、方向振荡等需求时使用此skill。

提取PDF文件的元数据（标题、作者、主题、页数等），输出为JSON格式。当用户需要查看PDF文档信息时使用此skill。

CSV格式化器。用于加载和格式化csv类型的文件。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到CSV格式化、CSV数据加载、读取CSV文件、CSV转JSONL等需求时使用此skill。

空行清洗工具。读取结构化数据文件（CSV、TSV、Excel等），删除所有列为空的行（空行）， 然后输出为相同格式的文件。当用户提到空行清洗、清理空行、删除空行、处理空白行、净化数据文件等需求时使用此skill。 即使用户没有明确说出"空行清洗"，只要任务涉及读取结构化文件并删除空行，就应该使用此skill。

从PDF文件中提取文本内容，保存为txt文件。当用户需要从PDF中提取文字时使用此skill。

批量文件清单采集器。扫描一个或多个本地文件/目录，或从任务列表加载路径， 按支持的扩展名生成文件元信息清单，供后续文本、表格、文档、图像等采集流程继续处理。 当用户需要批量盘点待采集文件、生成本地文件 manifest、统计输入文件类型或为后续采集算子准备文件清单时使用此 skill。

批量数据均匀分片工具。读取json/jsonl/csv输入，按份数或固定条数切成多个子文件，输出一个清单JSON供下游节点消费。 当用户提到数据分割、批量拆分、数据分片、均匀分块等需求时使用此skill。 即使用户没有明确说出"分片"，只要任务是把整份批量数据均匀拆成多个文件，就应该使用此skill。 不负责按字段分组导出或随机采样。

文献引用标记移除工具。读取含引用标记的文本，移除数字型、作者年份型和上标型引用标记，保留正文语义并输出清理后的文本。 当用户提到移除引用标记、清理参考文献标注、删除文献引用等需求时使用此skill。 适用于科研论文、学术文档的文本清洗，不负责参考文献章节重写、文献内容解析或非引用括号内容的系统抽取。

内容解析预处理工具。读取采集后的 JSONL、JSON 或 TXT 文本记录，执行轻量内容解析，输出带标题、段落结构和内容类型的统一解析记录文件。 当用户提到接入内容解析、采集后预处理、提取标题和段落、识别 plain/markdown/html 内容结构等需求时使用此 skill。 即使用户没有明确说出"内容解析"，只要任务涉及把已采集文本内容解析成统一结构，就应该使用此 skill。 不负责文件采集、表格抽取、内容清洗、质量校验、过滤筛选或格式转换。

数据脱敏工具。对结构化数据中的敏感字段进行字符遮蔽脱敏，保留字段位置并用遮蔽字符替换手机号、身份证、姓名、邮箱、银行卡等内容。 当用户提到数据脱敏、隐私保护、敏感字段遮蔽、PII 处理等需求时使用此 skill。 与 privacy_token_remover 区分开：本 skill 负责字段级遮蔽，不负责删除文本中的隐私标识，也不负责生成假数据。

数据纵向拼接工具。读取多个具有相同列结构的结构化数据文件，执行按行纵向追加合并（concat），输出单一合并文件。 当用户提到数据拼接、纵向合并、行合并、数据追加、文件合并等需求时使用此skill。 即使用户没有明确说出"拼接"，只要任务涉及将多个同构数据文件上下合并为一个，就应该使用此skill。 不负责横向关联（join/merge on key）、字段级合并或非结构化文档聚合。如需按键值关联请使用其他skill。

数据横向关联工具。读取多个结构化数据文件，按指定键进行横向关联（JOIN），输出关联后的合并文件。 当用户提到数据关联、表连接、横向合并、键合并、JOIN等需求时使用此skill。 即使用户没有明确说出"关联"，只要任务涉及按某个字段将多个表的数据关联在一起，就应该使用此skill。 不负责数据纵向拼接（concat）、数据去重、或字段值聚合（GROUP BY）。

数值标准化工具。读取JSONL数据，按指定字段执行Z-score或Min-Max标准化，并保留原始值与变更标记。 当用户提到数值标准化、归一化、字段规整、范围映射等需求时使用此skill。 即使用户没有明确说出"data_normalizer"，只要任务涉及对某个数值字段做标准化处理，就应该使用此skill。 不负责四舍五入/小数位统一（见DC3_RoundOff）、文本清洗、类别编码或多字段联合统计分析。

按字段拆分数据工具。根据指定字段的值将结构化表格拆分为多个文件，每个唯一值对应一个输出文件。 当用户提到数据拆分、按字段分组导出、分类导出、数据分片、按某列值分割文件等需求时使用此skill。 即使用户没有明确说出"拆分"，只要任务涉及将结构化表格按某字段值分成多个文件，就应该使用此skill。 不负责字段聚合统计、行级过滤或跨表关联合并。

JSONL比例切分工具。读取JSONL数据集，按给定比例拆成多个子集，支持随机切分和按字段分层切分。 当用户明确提到按比例拆分JSONL、训练集/验证集/测试集切分、分层保持类别分布等需求时使用此skill。 即使用户没有明确说出"切分"，只要任务是把一份JSONL按比例分成多个子集，就应该使用此skill。 不负责按固定条数均匀分块，不负责按份数切块，也不负责处理非JSONL输入。