Run any Skill in Manus with one click

lowinfo-filter

Stars540

Forks171

UpdatedJune 29, 2026 at 06:13

低信息量过滤工具。读取结构化数据文件，对指定文本列同时校验字符总数与行数是否落在阈值区间内，输出过滤后的合规行。当用户提到低信息量过滤、字符数筛选、短文本过滤、超长文本过滤、行数过滤、信息量阈值等需求时使用此skill。即使用户没有明确说出"低信息量"，只要任务涉及同时按字符数和行数两个维度过滤文本行，就应该使用此skill。不负责按单词数过滤（用words_num_filter）、按token数过滤（用token_num_filter）、按最长单行长度过滤（用maximum_line_length_filter）或按平均行长度过滤（用average_line_length_filter）。与这些skill的关键区别在于：本skill同时校验字符总数与行数两个维度，且原生支持CSV/TSV/Excel多列输入、不依赖data_juicer。

Installation

Install with Codex or Claude Copy this prompt, paste it into Codex, Claude, or another assistant, and let it review the skill page and install it for you.

Run Skill in Manus

Source

cas-bigdatalab

cas-bigdatalab/piflow

View GitHub Repository View Creator Repositories

Download

Run Skill in Manus

Related occupationsSOC

Based on SOC occupation classification

Software DevelopersComputer and Mathematical Occupations·SOC 15-1252

File Explorer

4 files

SKILL.md

readonly

name	lowinfo_filter
description	\|

lowinfo_filter 低信息量过滤

功能概述

按字符数/行数上下限过滤低/高信息样本。
支持多列检测，默认所有字符串列。

参数说明

参数	必填	说明
`--input_path`	是	输入文件路径（支持CSV/TSV/Excel等）
`--output_path`	是	输出文件路径（过滤后的文件）
`--text_columns`	否	需检测的文本列，逗号分隔；不填默认全部字符串列
`--min_chars`	否	最小字符数，默认 10
`--max_chars`	否	最大字符数（0 表示不限），默认 2000
`--min_lines`	否	最小行数，默认 1
`--max_lines`	否	最大行数（0 表示不限），默认 200

使用方法

python scripts/lowinfo_filter.py \
  --input_path <输入文件> \
  --output_path <输出文件> \
  [--text_columns col1,col2] \
  [--min_chars 10] [--max_chars 2000] \
  [--min_lines 1] [--max_lines 200]

输出说明

仅保留满足阈值的行；过滤掉的行不输出。
控制台提示输出行数与原始行数。

注意事项

合理设置 min/max，避免过度过滤。
若需保留原因，可调整脚本保留 filter_reason 列（当前实现剔除）。

More from this repository

same repository

piflow-skill-generator

cas-bigdatalab/piflow

PiFlow 技能生成器。当用户完成了一次完整并成功的数据处理任务时调用，根据当前 skills/generated 的本地约定和 references/piflow_skill_template.md 通用模板创建、更新或校验 PiFlow-compatible skill，包括 UTF-8 编码的 SKILL.md、DAG 可读的 input_params/output_params、version/category/tag 元数据、skill.json、scripts/references/assets 资源目录，以及本地校验脚本。仅在用户明确要求生成或保存 skill，或某次数据处理任务已经完成并需要把已验证成功的操作流程沉淀为 skill 时使用；默认不要因为“可能需要 skill”或“当前能力不足”而优先触发此 skill。

2026-07-01540

llm-file-transform-stop

cas-bigdatalab/piflow

LLM 文件转换算子。用于读取一个文本文件，按照给定指令调用大模型进行内容转换，并输出新的文本文件。

2026-06-30540

abbrev-expander

cas-bigdatalab/piflow

领域缩略语展开 Skill：按内置或外部词典将独立缩略语替换为全称，可选在全称后保留原缩写。适用于技术文本、论文摘要和业务记录中的缩写清洗；不负责模糊缩写消歧或大小写无关替换。

2026-06-29540

bracket-normalizer

cas-bigdatalab/piflow

括号类型统一工具。读取结构化数据文件，执行中文/全角括号到 ASCII 半角括号的映射，输出括号已统一的结构化数据文件。当用户提到括号统一、全角括号转半角、中文括号转换、括号规范化等需求时使用此skill。即使用户没有明确说出"bracket_normalizer"，只要任务涉及括号类符号统一，就应该使用此skill。不负责全角字母数字转换、Unicode正规化或其他通用全半角处理。

2026-06-29540

cross-field-comparison-check

cas-bigdatalab/piflow

跨字段比较校验工具。读取结构化数据文件（CSV、TSV、Excel等），检查两个字段之间的逻辑约束关系是否满足（如 start < end、min ≤ max、price >= cost），支持六种比较运算符，多约束可组合使用。当用户提到跨字段校验、字段间比较、逻辑约束检查、大小关系验证等需求时使用此skill。即使用户没有明确说出"跨字段"，只要任务涉及验证两个字段值之间的逻辑关系，就应该使用此skill。

2026-06-29540

duplicate-row-check

cas-bigdatalab/piflow

结构化表格重复行检测工具。仅检查CSV/TSV/Excel等表格型数据中的完全重复记录或指定列子集重复，标记后续重复行并保留首次出现；不处理文本片段清理、文档去重或其他字段质控。

2026-06-29540

name	lowinfo_filter
description	\|

lowinfo_filter 低信息量过滤

功能概述

按字符数/行数上下限过滤低/高信息样本。
支持多列检测，默认所有字符串列。

参数说明

参数	必填	说明
`--input_path`	是	输入文件路径（支持CSV/TSV/Excel等）
`--output_path`	是	输出文件路径（过滤后的文件）
`--text_columns`	否	需检测的文本列，逗号分隔；不填默认全部字符串列
`--min_chars`	否	最小字符数，默认 10
`--max_chars`	否	最大字符数（0 表示不限），默认 2000
`--min_lines`	否	最小行数，默认 1
`--max_lines`	否	最大行数（0 表示不限），默认 200

使用方法

python scripts/lowinfo_filter.py \
  --input_path <输入文件> \
  --output_path <输出文件> \
  [--text_columns col1,col2] \
  [--min_chars 10] [--max_chars 2000] \
  [--min_lines 1] [--max_lines 200]

输出说明

仅保留满足阈值的行；过滤掉的行不输出。
控制台提示输出行数与原始行数。

注意事项

合理设置 min/max，避免过度过滤。
若需保留原因，可调整脚本保留 filter_reason 列（当前实现剔除）。