text-splitter

name	text_splitter
description	长文本规则切分工具。将超长文本按照段落、句子、固定字符长度、非空行或科研论文章节标题进行自动切分，生成粒度均匀的短文本片段。 当用户提到文本切分、长文本拆分、按段落分割、按句子分割、文本分块、论文章节切分等需求时使用此skill。 适用于科研论文、实验综述、长篇文稿等资料的粒度拆分需求。 不负责采样、清洗、格式转换或PDF解析。
name_zh	长文本规则切分算子
input_params	[{"name":"input","type":"string","required":true,"description":"输入文件路径（支持txt/md/json/jsonl等文本文件）"},{"name":"output","type":"string","required":true,"description":"输出文件路径"},{"name":"split_mode","type":"string","required":false,"default":"paragraph","description":"切分模式（paragraph=按段落, sentence=按句子, length=按字符长度, line=按非空行, section=按科研论文章节标题）"},{"name":"max_length","type":"string","required":false,"default":"1000","description":"切分模式为length时的最大字符数"},{"name":"overlap","type":"string","required":false,"default":"0","description":"切分片段之间的重叠字符数（仅length模式有效）"},{"name":"min_length","type":"string","required":false,"default":"10","description":"最小片段长度，低于此长度的片段将被合并或丢弃"},{"name":"separator","type":"string","required":false,"default":"auto","description":"自定义分隔符（auto=自动检测，或指定如\"\\n\\n\"、\"。\"等）"},{"name":"output_format","type":"string","required":false,"default":"jsonl","description":"输出格式（jsonl=每行一个JSON对象, txt=纯文本分隔, json=JSON数组）"},{"name":"keep_metadata","type":"string","required":false,"default":"True","description":"是否保留元信息（片段序号、原始位置等）"},{"name":"text_field","type":"string","required":false,"default":"text","description":"JSON/JSONL输入时的文本字段名"},{"name":"language","type":"string","required":false,"default":"auto","description":"论文章节切分时的论文语言（auto/zh/en/mixed）"},{"name":"custom_sections","type":"string","required":false,"default":"","description":"论文章节切分时的自定义章节标题，逗号分隔"},{"name":"include_default","type":"string","required":false,"default":"True","description":"论文章节切分时是否包含默认章节关键词"},{"name":"keep_title","type":"string","required":false,"default":"True","description":"论文章节切分时是否在章节内容中保留标题"},{"name":"min_section_length","type":"string","required":false,"default":"50","description":"论文章节切分时最小章节长度，低于此长度的章节将被合并"}]
output_params	[{"name":"output","type":"file","description":"切分后的文本文件"},{"name":"split_count","type":"integer","description":"切分后的片段数量"}]
tag	数据筛选
publisher	COMMUNITY

Text Splitter 长文本规则切分 Skill

功能概述

本skill用于将超长文本按照指定规则进行切分，生成粒度均匀的短文本片段。支持段落、句子、固定长度、非空行以及科研论文章节标题切分，适配科研论文、实验综述、长篇文稿等资料的粒度拆分需求。

触发条件

当用户请求以下任务时，应使用此skill：

• 长文本切分/拆分
• 按段落分割文本
• 按句子分割文本
• 文本分块/分片
• 论文章节切分/按摘要引言方法结论分割
• 将长文档拆成短片段

核心参数说明

必需参数

• --input：输入文件路径
• --output：输出文件路径

可选参数

• --split_mode：paragraph / sentence / length / line / section
• --max_length：length 模式最大字符数
• --overlap：length 模式重叠字符数
• --min_length：最小片段长度
• --separator：自定义分隔符
• --output_format：jsonl / txt / json
• --keep_metadata：是否保留元信息
• --text_field：JSON/JSONL 输入时的文本字段名
• --language：section 模式下论文语言
• --custom_sections：自定义章节标题
• --include_default：是否包含默认章节关键词
• --keep_title：section 模式下是否保留标题
• --min_section_length：section 模式下最小章节长度

输入文件格式

• 纯文本 (.txt, .md)
• JSON (.json) - 读取指定字段或数组中的文本字段
• JSONL (.jsonl) - 逐行处理

切分模式说明

1. 段落模式 (paragraph)

按空行分割文本，适合结构清晰的文档。

2. 句子模式 (sentence)

按句号、问号、感叹号等句末标点分割，适合需要句子级粒度的场景。

3. 长度模式 (length)

按固定字符长度切分，可设置重叠区域，适合需要均匀分块的场景。

4. 行模式 (line)

按非空行切分，每个非空行作为一个片段。

5. 章节模式 (section)

按科研论文章节标题切分，识别摘要、引言、方法、结果、结论、参考文献、附录等标题及其编号变体。

使用方法

按段落切分

python scripts/run_text_splitter.py \
  --input long_document.txt \
  --output chunks.jsonl \
  --split_mode paragraph

按句子切分

python scripts/run_text_splitter.py \
  --input article.txt \
  --output sentences.jsonl \
  --split_mode sentence

按固定长度切分（带重叠）

python scripts/run_text_splitter.py \
  --input paper.txt \
  --output chunks.jsonl \
  --split_mode length \
  --max_length 500 \
  --overlap 50