arabench

name	arabench
description	Arabic LLM benchmarking across 8 quality categories
version	1.0.0
author	Mousa Abu Mazin
license	MIT
platforms	["linux","macos"]
prerequisites	{"commands":["arabench"],"env_vars":[]}
metadata	{"hermes":{"tags":["nlp","benchmark","arabic","evaluation"]}}

arabench — معيار جودة العربية للنماذج

أداة لتقييم جودة الذكاء الاصطناعي بالعربي عبر 8 فئات.

الأوامر

تشغيل المعيار الكامل

arabench run

النتيجة المتوقعة:

╔══════════════════════════════════════════════╗
║          arabench — Full Benchmark           ║
╠════════════════╦═══════╦═══════╦═════════════╣
║ Category       ║ GPT-4 ║ Claude║ Gemini      ║
╠════════════════╬═══════╬═══════╬═════════════╣
║ Translation    ║  82   ║  87   ║  79         ║
║ Grammar        ║  76   ║  84   ║  74         ║
║ Dialect        ║  68   ║  71   ║  65         ║
║ Diacritization ║  54   ║  62   ║  51         ║
║ Summarization  ║  78   ║  83   ║  76         ║
║ QA             ║  81   ║  85   ║  78         ║
║ Generation     ║  75   ║  80   ║  73         ║
║ Culture        ║  70   ║  77   ║  66         ║
╠════════════════╬═══════╬═══════╬═════════════╣
║ OVERALL        ║  73.0 ║  78.6 ║  70.3       ║
╚════════════════╩═══════╩═══════╩═════════════╝

اختبار سريع لمزوّد واحد

arabench quick claude
arabench quick gpt4
arabench quick gemini

النتيجة — نتائج سريعة خلال 30 ثانية لأهم 3 فئات (translation, grammar, qa).

مقارنة مزوّدين

arabench compare claude gpt4

النتيجة المتوقعة:

claude vs gpt4 — Arabic Quality Comparison
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Translation:    claude 87 ████████▋  vs  gpt4 82 ████████▏
Grammar:        claude 84 ████████▍  vs  gpt4 76 ███████▌
Dialect:        claude 71 ███████    vs  gpt4 68 ██████▊
Winner: claude (+5.6 avg)

عرض لوحة النتائج

arabench leaderboard

يعرض ترتيب جميع المزوّدين المُقيّمين حسب المعدل العام.

شرح فئة تقييم

arabench explain translation
arabench explain dialect
arabench explain diacritization

الفئات الثمانية بالتفصيل

الفئة	الوصف	أمثلة الاختبار
translation	دقة الترجمة عربي↔إنجليزي	مصطلحات تقنية، تعابير اصطلاحية
grammar	صحة القواعد النحوية والصرفية	إعراب، تصريف أفعال، جمع تكسير
dialect	فهم اللهجات الخمس	مصري، خليجي، شامي، مغاربي، عراقي
diacritization	دقة التشكيل	نصوص بدون تشكيل يُطلب تشكيلها
summarization	جودة التلخيص العربي	مقالات إخبارية، نصوص أكاديمية
qa	الإجابة على أسئلة بالعربي	ثقافية، تاريخية، علمية
generation	جودة توليد النصوص	مقالات، قصص، محتوى تسويقي
culture	الوعي الثقافي العربي	عادات، أمثال، سياق اجتماعي

نظام التقييم

• 90-100: ممتاز — أداء يقارب المتحدث الأصلي
• 80-89: جيد جدا — أخطاء نادرة وطفيفة
• 70-79: جيد — يفهم السياق لكن فيه أخطاء ملحوظة
• 60-69: مقبول — يحتاج تدقيق بشري
• أقل من 60: ضعيف — غير موثوق للاستخدام الإنتاجي

متى تستخدم

• المستخدم يسأل "أي نموذج أفضل بالعربي؟"
• يريد مقارنة بين Claude و GPT أو غيرهم
• يريد يعرف نقاط ضعف نموذج معين بالعربي
• يختار نموذج لمشروع يتطلب عربي عالي الجودة
• يريد يفهم ليش نموذج معين ضعيف بالتشكيل أو اللهجات