Menü
فاحص بيانات التدريب العربية — اكتشف مشاكل الترميز والمحتوى المخفي وخلط اللهجات في ملفات JSONL
Mit Codex oder Claude installieren Kopieren Sie diesen Prompt, fügen Sie ihn in Codex, Claude oder einen anderen Assistant ein und lassen Sie die Skill-Seite prüfen und installieren.
Basierend auf der SOC-Berufsklassifikation
| name | majal |
| description | فاحص بيانات التدريب العربية — اكتشف مشاكل الترميز والمحتوى المخفي وخلط اللهجات في ملفات JSONL |
| version | 1.0.0 |
| author | Mousa Abu Mazin |
| license | MIT |
| platforms | ["linux","macos"] |
| prerequisites | {"commands":["majal"],"env_vars":[]} |
| metadata | {"hermes":{"tags":["arabic","data-quality","training-data","jsonl","encoding","nlp"]}} |
أداة لفحص جودة بيانات التدريب العربية عبر 16 فحص. استخدم لتنظيف بيانات التدريب.
majal scan data.jsonl
مثال عملي:
majal scan training_data.jsonl
النتيجة المتوقعة:
🔍 Scanning training_data.jsonl (12,450 records)...
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
╔════════════════════╦══════════╦═══════════╦═════════╗
║ Check ║ Severity ║ Found ║ % Total ║
╠════════════════════╬══════════╬═══════════╬═════════╣
║ mojibake ║ HIGH ║ 234 ║ 1.9% ║
║ invisible_chars ║ HIGH ║ 12 ║ 0.1% ║
║ bidi_override ║ HIGH ║ 3 ║ 0.0% ║
║ mixed_encoding ║ MEDIUM ║ 89 ║ 0.7% ║
║ dialect_mixing ║ MEDIUM ║ 456 ║ 3.7% ║
║ empty_arabic ║ MEDIUM ║ 67 ║ 0.5% ║
║ latin_in_arabic ║ LOW ║ 1,203 ║ 9.7% ║
║ excessive_tashkeel ║ LOW ║ 321 ║ 2.6% ║
╠════════════════════╬══════════╬═══════════╬═════════╣
║ TOTAL ISSUES ║ ║ 2,385 ║ 19.2% ║
╚════════════════════╩══════════╩═══════════╩═════════╝
Quality Score: 74/100 (مقبول — يحتاج تنظيف)
majal stats data.jsonl
النتيجة المتوقعة:
📊 Dataset Statistics — training_data.jsonl
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Records: 12,450
Total tokens: 1,847,320
Avg tokens/rec: 148
Language Distribution:
Arabic: 89.2% ████████████████████████████▊
English: 7.3% ██▎
Mixed: 3.5% █▏
Dialect Distribution:
فصحى: 62.1% ████████████████████
مصري: 14.3% ████▌
خليجي: 11.8% ███▊
شامي: 7.2% ██▎
مغاربي: 4.6% █▌
Field Analysis:
instruction: avg 23 tokens (all records)
input: avg 45 tokens (8,230 records)
output: avg 80 tokens (all records)
Token Distribution (P50/P90/P99):
instruction: 18 / 45 / 120
output: 62 / 180 / 450
majal fix data.jsonl
النتيجة المتوقعة:
🔧 Fixing training_data.jsonl ...
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Proposed fixes:
1. Fix mojibake (234 records)
Example: "السلام" → "السلام"
2. Remove invisible chars (12 records)
Example: "مر\u200bحبا" → "مرحبا"
3. Remove bidi overrides (3 records)
4. Normalize encoding to UTF-8 (89 records)
Apply all fixes? [y/N/diff]
عرض diff قبل التطبيق:
majal fix data.jsonl --diff
تطبيق بدون تأكيد:
majal fix data.jsonl --yes
حفظ في ملف جديد:
majal fix data.jsonl --output fixed_data.jsonl
majal explain
majal sample data.jsonl
النتيجة المتوقعة:
📋 Random Sample (5 records)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Record #3,421:
instruction: "اشرح مفهوم الذكاء الاصطناعي"
output: "الذكاء الاصطناعي هو فرع من علوم الحاسوب..."
tokens: 142
dialect: فصحى
quality: ✅ clean
Record #8,102:
instruction: "ترجم الجملة التالية"
output: "The quick brown fox..."
tokens: 28
dialect: —
quality: ⚠️ latin_in_arabic (output is entirely English)
عيّنة مع فلتر:
# عيّنة من السجلات المشكوك فيها فقط
majal sample data.jsonl --filter issues
# عيّنة من لهجة محددة
majal sample data.jsonl --filter dialect:masri
| التقييم | النقاط | المعنى |
|---|---|---|
| ممتاز | 90-100 | بيانات نظيفة جاهزة للتدريب |
| جيد | 75-89 | تحتاج تنظيف طفيف |
| مقبول | 60-74 | تحتاج تنظيف متوسط |
| ضعيف | أقل من 60 | تحتاج إعادة معالجة شاملة |
Adhan audio playback with multiple muezzin voices
مراجعة كود عربي — راجع الكود مع فحص التعامل مع النصوص العربية وRTL والتعليقات العربية
مصطلحات صحية عربية — ترجم واشرح مصطلحات طبية بالعربي، ساعد في فهم التقارير الطبية
مصطلحات قانونية عربية — ترجم واشرح مصطلحات قانونية، ساعد في فهم العقود والمستندات القانونية بالعربي
Arabic OCR text extraction from images and documents
كاتب السيرة الذاتية — اكتب سيرة ذاتية احترافية بالعربي أو ثنائية اللغة