メニュー
多模态数据清洗与去重 - 提供200+算子，支持云原生分布式处理
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
SOC 職業分類に基づく
音频文本时序对齐 - DTW实现长音频与文本的自动化时序映射
任意模态对齐 - 文本、图像、音视频任意复合模态数据对齐与重构
ASR数据清洗 - 语种识别与异常字符正规化
音素级强制对齐 - 多语种音素级对齐，支持TTS微调
自动化置信学习 - 自动发现并修正跨模态数据集中的标注错误
图像质量检测 - 自动发现模糊、曝光、低信息量等问题图片
| name | data-juicer |
| description | 多模态数据清洗与去重 - 提供200+算子，支持云原生分布式处理 |
| category | pipeline |
| emoji | 🔄 |
| github_url | https://github.com/datajuicer/data-juicer |
| triggers | ["数据清洗","数据去重","多模态处理","data juicer","分布式"] |
| inputs | ["json","jsonl","parquet"] |
| outputs | ["json","jsonl","parquet"] |
| use_cases | ["数据清洗","数据去重","多模态数据处理"] |
多模态数据清洗与去重大规模流水线，提供200+算子。
pip install data-juicer
dj-process --config config.yaml