메뉴
JSONL比例切分工具。读取JSONL数据集，按给定比例拆成多个子集，支持随机切分和按字段分层切分。 当用户明确提到按比例拆分JSONL、训练集/验证集/测试集切分、分层保持类别分布等需求时使用此skill。 即使用户没有明确说出"切分"，只要任务是把一份JSONL按比例分成多个子集，就应该使用此skill。 不负责按固定条数均匀分块，不负责按份数切块，也不负责处理非JSONL输入。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
PiFlow 技能生成器。当用户完成了一次完整并成功的数据处理任务时调用，根据当前 skills/generated 的本地约定和 references/piflow_skill_template.md 通用模板创建、更新或校验 PiFlow-compatible skill，包括 UTF-8 编码的 SKILL.md、DAG 可读的 input_params/output_params、version/category/tag 元数据、skill.json、scripts/references/assets 资源目录，以及本地校验脚本。仅在用户明确要求生成或保存 skill，或某次数据处理任务已经完成并需要把已验证成功的操作流程沉淀为 skill 时使用；默认不要因为“可能需要 skill”或“当前能力不足”而优先触发此 skill。
LLM 文件转换算子。用于读取一个文本文件，按照给定指令调用大模型进行内容转换，并输出新的文本文件。
领域缩略语展开 Skill：按内置或外部词典将独立缩略语替换为全称，可选在全称后保留原缩写。 适用于技术文本、论文摘要和业务记录中的缩写清洗；不负责模糊缩写消歧或大小写无关替换。
括号类型统一工具。读取结构化数据文件，执行中文/全角括号到 ASCII 半角括号的映射，输出括号已统一的结构化数据文件。 当用户提到括号统一、全角括号转半角、中文括号转换、括号规范化等需求时使用此skill。 即使用户没有明确说出"bracket_normalizer"，只要任务涉及括号类符号统一，就应该使用此skill。 不负责全角字母数字转换、Unicode正规化或其他通用全半角处理。
跨字段比较校验工具。读取结构化数据文件（CSV、TSV、Excel等），检查两个字段之间的逻辑约束关系 是否满足（如 start < end、min ≤ max、price >= cost），支持六种比较运算符，多约束可组合使用。 当用户提到跨字段校验、字段间比较、逻辑约束检查、大小关系验证等需求时使用此skill。 即使用户没有明确说出"跨字段"，只要任务涉及验证两个字段值之间的逻辑关系，就应该使用此skill。
结构化表格重复行检测工具。仅检查CSV/TSV/Excel等表格型数据中的完全重复记录或指定列子集重复， 标记后续重复行并保留首次出现；不处理文本片段清理、文档去重或其他字段质控。
| name | data_splitter |
| description | JSONL比例切分工具。读取JSONL数据集，按给定比例拆成多个子集，支持随机切分和按字段分层切分。 当用户明确提到按比例拆分JSONL、训练集/验证集/测试集切分、分层保持类别分布等需求时使用此skill。 即使用户没有明确说出"切分"，只要任务是把一份JSONL按比例分成多个子集，就应该使用此skill。 不负责按固定条数均匀分块，不负责按份数切块，也不负责处理非JSONL输入。 |
| name_zh | 数据分割算子 |
| input_params | [{"name":"input","type":"string","required":true,"description":"输入JSONL文件路径"},{"name":"outputs","type":"string","required":true,"description":"输出文件路径，逗号分隔"},{"name":"ratios","type":"string","required":true,"description":"分割比例，逗号分隔（如0.7,0.2,0.1）"},{"name":"stratify_field","type":"string","required":false,"default":"","description":"分层字段（用于分层分割）"},{"name":"seed","type":"string","required":false,"default":"42","description":"随机种子"},{"name":"log_file","type":"string","required":false,"default":"","description":"日志文件路径"}] |
| output_params | [{"name":"outputs","type":"list","description":"分割后的数据子集"},{"name":"split_stats","type":"object","description":"分割统计信息"}] |
| tag | 切分与采样 |
本skill用于将JSONL数据集按比例拆分为多个子集，支持：
当用户请求以下任务时，应使用此skill：
| 参数 | 说明 |
|---|---|
--input | 输入JSONL文件路径 |
--outputs | 输出文件路径，逗号分隔 |
--ratios | 分割比例，逗号分隔 |
| 参数 | 说明 | 默认值 |
|---|---|---|
--stratify_field | 分层字段 | 空 |
--seed | 随机种子 | 42 |
--log_file | 日志文件路径 | 空 |
{"id": 1, "category": "A", "text": "样本1"}
{"id": 2, "category": "A", "text": "样本2"}
{"id": 3, "category": "B", "text": "样本3"}
{"id": 4, "category": "C", "text": "样本4"}
python scripts/run_data_splitter.py \
--input data.jsonl \
--outputs train.jsonl,valid.jsonl,test.jsonl \
--ratios 0.7,0.2,0.1 \
--seed 42
python scripts/run_data_splitter.py \
--input data.jsonl \
--outputs train.jsonl,valid.jsonl,test.jsonl \
--ratios 0.7,0.2,0.1 \
--stratify_field category \
--seed 42
[OK] Data splitting completed
[train.jsonl] 7 records (70.0%)
[valid.jsonl] 2 records (20.0%)
[test.jsonl] 1 records (10.0%)
Input: data.jsonl
Total records: 10
Split ratios: [0.7, 0.2, 0.1]
Stratified: True
Stratify field: category
Random seed: 42
python scripts/run_data_splitter.py --help
--outputs 的数量必须与 --ratios 一致。--ratios 的总和建议为 1.0。