lowinfo-filter

name	lowinfo_filter
description	|

lowinfo_filter 低信息量过滤

功能概述

• 按字符数/行数上下限过滤低/高信息样本。
• 支持多列检测，默认所有字符串列。

参数说明

参数	必填	默认值	说明
--input_path	是		输入文件路径（支持CSV/TSV/Excel等）
--output_path	是		输出文件路径（过滤后的文件）
--text_columns	否		需检测的文本列，逗号分隔；不填默认全部字符串列
--min_chars	否		最小字符数，默认 10
--max_chars	否		最大字符数（0 表示不限），默认 2000
--min_lines	否		最小行数，默认 1
--max_lines	否		最大行数（0 表示不限），默认 200

使用方法

python scripts/lowinfo_filter.py \
  --input_path <输入文件> \
  --output_path <输出文件> \
  [--text_columns col1,col2] \
  [--min_chars 10] [--max_chars 2000] \
  [--min_lines 1] [--max_lines 200]

输出说明

• 仅保留满足阈值的行；过滤掉的行不输出。
• 控制台提示输出行数与原始行数。

注意事项

• 合理设置 min/max，避免过度过滤。
• 若需保留原因，可调整脚本保留 filter_reason 列（当前实现剔除）。