القائمة
语义去重 - 基于高维特征嵌入进行相似度聚类去除语义冗余
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
استنادا إلى تصنيف SOC المهني
音频文本时序对齐 - DTW实现长音频与文本的自动化时序映射
任意模态对齐 - 文本、图像、音视频任意复合模态数据对齐与重构
ASR数据清洗 - 语种识别与异常字符正规化
音素级强制对齐 - 多语种音素级对齐，支持TTS微调
自动化置信学习 - 自动发现并修正跨模态数据集中的标注错误
图像质量检测 - 自动发现模糊、曝光、低信息量等问题图片
| name | semdedup |
| description | 语义去重 - 基于高维特征嵌入进行相似度聚类去除语义冗余 |
| category | quality |
| emoji | 🔀 |
| github_url | https://github.com/facebookresearch/SemDeDup |
| triggers | ["语义去重","相似度聚类","冗余去除","semdedup"] |
| inputs | ["json","parquet"] |
| outputs | ["json","parquet"] |
| use_cases | ["语义去重","冗余样本去除"] |
Facebook开发的语义去重工具。
pip install semdedup
semdedup --input data.jsonl --output deduped.jsonl