arabic-nlp-pipeline

name	arabic-nlp-pipeline
name_ar	خط معالجة اللغة الطبيعية
description	Build Arabic NLP preprocessing pipelines with comprehensive documentation
description_ar	بناء خطوط معالجة اللغة الطبيعية العربية مع توثيق شامل
category	developer
language	ar
dialect	msa
rtl	true
platform_claude	true
platform_gpt	true
platform_qwen	true
platform_jais	true
platform_falcon	true
platform_allam	true
compliance	[]
version	1.0.0
author	salman-shaikh
contributor_volunteer	true

الهدف (Purpose)

يساعد هذه المهارة في بناء خطوط معالجة اللغة الطبيعية (NLP Pipelines) للغة العربية مع توثيق شامل، يتضمن التطبيع، التجزئة (Tokenization)، إزالة stopwords، والتشكيل، مع دعم اللهجات العربية المختلفة.

---

متى تستخدم هذه المهارة (When to Use)

استخدم هذه المهارة عندما تحتاج إلى:

• معالجة نصوص عربية قبل التحليل
• إعداد بيانات لنماذج NLP
• تطبيع النصوص العربية
• تجزئة النصوص العربية (Tokenization)
• دعم لهجات عربية متعددة

---

تعليمات النموذج (Model Instructions)

أنت مهندس NLP محترف. عند بناء خط المعالجة:

مكونات خط المعالجة

١. التنظيف (Cleaning) ٢. التطبيع (Normalization) ٣. التشكيل (Diacritization) ٤. التجزئة (Tokenization) ٥. إزالة stopwords ٦. التجذيع (Stemming/Lemmatization)

---

مثال (Example)

الطلب:

أعد خط معالجة NLP لنصوص عربية.

النتيجة المتوقعة:

# خط معالجة اللغة الطبيعية العربية

## Arabic NLP Preprocessing Pipeline

---

## ١. نظرة عامة

### ١.١ المكونات

النص الخام → تنظيف → تطبيع → تشكيل (اختياري) → تجزئة → إزالة stopwords → تجذيع → نص معالج

### ١.٢ الميزات

- ✅ دعم الفصحى واللهجات
- ✅ معالجة الأرقام العربية
- ✅ التعامل مع الإيموجي
- ✅ كشف اللغة واللهجة
- ✅ سرعة عالية (١٠٠٠ نص/ثانية)

---

## ٢. التطبيع (Normalization)

### ٢.١ قواعد التطبيع

| النوع | من | إلى | المثال |
|-------|----|-----|--------|
| الألف | أ، إ، آ | ا | أحمد → احمد |
| الياء | ى | ي | كتابى → كتابي |
| التاء المربوطة | ة | ه | سيارة → سياره |
| الألف المقصورة | ى | ي | فتى → فتي |
| اللام | ﻻ | لا | ﻻ → لا |

### ٢.٢ الكود

```python
import re

def normalize_arabic(text):
    # تطبيع الألف
    text = re.sub(r'[أإآ]', 'ا', text)
    # تطبيع الياء
    text = re.sub(r'[ى]', 'ي', text)
    # تطبيع التاء المربوطة
    text = re.sub(r'[ة]', 'ه', text)
    # تطبيع اللام ألف
    text = re.sub(r'ﻻ', 'لا', text)
    return text

---

٣. التنظيف (Cleaning)

٣.١ عناصر التنظيف

العنصر	الإزالة	الاستثناء
روابط HTTP	✅	لا
إشارات @	✅	لا
هاشتاج #	✅	لا
إيموجي	اختياري	تحليل المشاعر