name	safha
description	كاشط محتوى عربي — اجمع محتوى عربي من الويب، نظّفه، واكتشف لهجته. مخصص لتجهيز بيانات التدريب.
version	1.0.0
author	Mousa Abu Mazin
license	MIT
platforms	["linux","macos"]
prerequisites	{"commands":["curl"],"env_vars":[]}
metadata	{"hermes":{"tags":["arabic","safha"]}}

safha — كاشط المحتوى العربي

أداة لجمع وتنظيف المحتوى العربي من الويب لتجهيز بيانات التدريب.

safha scrape URL

يجمع المحتوى العربي ويحفظه بصيغة JSONL.

safha sitemap URL

يكشط جميع الروابط بالتوازي مع rate limiting.

safha clean data.jsonl

10 خطوات تنظيف: حذف URLs، تطبيع الألف/الياء، إزالة التشكيل...

safha detect data.jsonl

يصنّف كل نص حسب اللهجة (فصحى/مصري/خليجي/شامي/مغربي).

safha stats