flagged-words-filter

name	flagged_words_filter
description	敏感词过滤器。过滤文本中包含敏感词/标记词比例超过指定阈值的样本。 当用户提到敏感词过滤、脏词过滤、违禁词过滤、内容审核、敏感词检测等需求时使用此skill。 即使用户没有明确说出"敏感词"，只要任务涉及过滤包含特定敏感词的文本内容， 就应该使用此skill。
name_zh	敏感词过滤器算子
input_params	[{"name":"input","type":"string","required":true,"description":"输入JSON文件路径"},{"name":"output","type":"string","required":true,"description":"输出JSON文件路径"},{"name":"lang","type":"string","required":false,"default":"en","description":"语言（en/zh/all）"},{"name":"max_ratio","type":"float","required":false,"default":0.045,"description":"最大敏感词比例"},{"name":"tokenization","type":"bool","required":false,"default":false,"description":"是否使用模型分词"},{"name":"use_words_aug","type":"bool","required":false,"default":false,"description":"是否使用词语增强"},{"name":"text_key","type":"string","required":false,"default":"text","description":"文本字段的键名"}]
output_params	[{"name":"output","type":"json_file","description":"过滤敏感词后的JSON文件"}]
tag	数据筛选
publisher	COMMUNITY

Flagged Words Filter 敏感词过滤 Skill

功能概述

本skill根据文本中敏感词/标记词的比例进行过滤，只保留敏感词比例低于指定阈值的样本。 支持多语言（英文、中文等），常用于内容审核、数据清洗等场景。

触发条件

当用户请求以下任务时，应使用此skill：

• 敏感词过滤
• 脏词过滤
• 违禁词过滤
• 内容审核
• 敏感词检测
• 不良内容过滤
• 清洗违规文本

核心参数说明

必需参数

参数	说明
--input	输入JSON文件路径
--output	输出JSON文件路径

可选参数

参数	说明	默认值
--lang	语言	en
--max_ratio	最大敏感词比例	0.045
--tokenization	是否使用模型分词	False
--use_words_aug	是否使用词语增强	False
--text_key	文本字段的键名	text

输入文件格式

[
  {"text": "正常文本内容"},
  {"text": "包含敏感词的文本"},
  {"text": "另一段正常文本"}
]

使用方法

英文敏感词过滤（默认）

python scripts/run_flagged_words_filter.py \
  --input ./input.json \
  --output ./output.json