text-collector

name	text_collector
description	纯文本文件采集工具。读取单个文本文件或目录中的 txt、md、rst、log、text 文件，执行文件正文采集，输出结构化文本记录文件。 当用户提到文本文件采集、读取纯文本语料、汇总 Markdown/RST/日志文本、把本地文本文件转成结构化记录等需求时使用此 skill。 即使用户没有明确说出"文本采集"，只要任务涉及把本地纯文本文件内容收集成统一记录，就应该使用此 skill。 不负责文档解析、图片解析、表格读取、文本清洗或质量过滤。
name_zh	文本类数据采集接入算子
input_params	[{"name":"input","type":"string","required":true,"description":"输入文件或目录路径"},{"name":"output","type":"string","required":true,"description":"输出文件路径"},{"name":"encoding","type":"string","required":false,"default":"auto","description":"文件编码，默认auto自动检测"},{"name":"recursive","type":"string","required":false,"default":"False","description":"是否递归处理子目录"},{"name":"add_metadata","type":"string","required":false,"default":"True","description":"是否添加文件元信息"},{"name":"output_format","type":"string","required":false,"default":"jsonl","description":"输出格式，支持jsonl/json/csv/auto"}]
output_params	[{"name":"output","type":"jsonl_file","description":"采集后的结构化文本记录文件"}]
tag	数据筛选
publisher	COMMUNITY

Text Collector 文本采集 Skill

功能概述

本skill用于读取单个纯文本文件或目录中的纯文本文件，将文件正文采集为统一结构化文本记录，并输出为 JSONL、JSON 或 CSV。

触发条件

当用户请求以下任务时，应使用此skill：

• 文本文件采集
• 读取纯文本语料
• 汇总 txt、md、rst、log 或 text 文件内容
• 将本地文本文件转为结构化记录
• 为后续清洗、校验、入库准备统一文本输入

不适用于 PDF、Word、图片、Excel、网页结构解析、文本清洗或质量过滤；这些任务需要使用对应的文档、图片、表格、清洗或过滤 skill。

核心参数说明

必需参数

参数	说明
--input	输入文件或目录路径
--output	输出文件路径

可选参数

参数	说明	默认值
--encoding	文件编码，auto 会按常见编码尝试读取	auto
--recursive	是否递归扫描子目录	False
--add_metadata	是否输出 _meta 文件元信息	True
--output_format	输出格式，支持 jsonl、json、csv、auto	jsonl

输入文件格式

输入可以是单个受支持文本文件，也可以是包含受支持文本文件的目录。目录模式只采集 .txt、.md、.rst、.log、.text，其它扩展名会跳过。

input_dir/
  note.txt
  report.md
  method.rst
  readme.text
  logs/collector.log
  nested/field_notes.txt
  skip.exe

使用方法

递归采集目录并输出 JSONL

python scripts/run_text_collector.py \
  --input ./input_dir \
  --output ./text_collector_output.jsonl \
  --encoding auto \
  --recursive true \
  --add_metadata true \
  --output_format jsonl

采集单个文本文件并输出 JSON

python scripts/run_text_collector.py \
  --input ./note.txt \
  --output ./text_collector_output.json \
  --output_format json

处理示例