القائمة
Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations
يُحدَّد Prompt الذي يراجع المصدر أولًا بشكل افتراضي. يمكنك التبديل إلى أمر مباشر أو تنزيل نسخة محلية.
اقرأ SKILL.md وأي ملفات مرافقة يعرضها SkillsMP قبل أن تقرر التثبيت.
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
يتجاوز الأمر المباشر Prompt المخصّص للمراجعة. افحص المصدر قبل تشغيله.
npx skills add https://github.com/bytesagain/ai-skills --skill crawlerيبقى الأمر في سطر واحد. مرّر أفقيًا لمراجعته كاملًا قبل النسخ.
تفضّل نسخة محلية؟ نزّل الملفات المتاحة حاليًا لدى SkillsMP.
Build BI dashboard specs, chart plans, SQL queries, and Apache Superset chart JSON. Use when creating dashboards, BI reports, KPI charts, or visualization layouts.
Localize product listings across English and Chinese ecommerce channels. Use when adapting Amazon, Shopify, Taobao, Pinduoduo, TK, or independent-site copy.
Optimize ecommerce keywords and product copy. Use when building keyword maps, rewriting titles, improving category text, auditing listings, or planning search terms.
استنادا إلى تصنيف SOC المهني
عرض SKILL.md
| name | crawler |
| version | 3.0.0 |
| description | Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations |
| author | BytesAgain |
| homepage | https://bytesagain.com |
| source | https://github.com/bytesagain/ai-skills |
| tags | ["web-scraping","scrapy","crawler","robots-txt","selenium"] |
| category | devtools |
Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations. No API keys or credentials required — outputs reference documentation only.
| Command | Description |
|---|---|
intro | Crawling vs scraping, robots.txt, sitemap |
standards | HTTP caching, structured data, meta tags |
troubleshooting | Anti-bot detection, JS rendering, encoding |
performance | Concurrency, dedup, incremental, distributed |
security | Legal landscape, ethical guidelines, proxies |
migration | BeautifulSoup to Scrapy, requests to Playwright |
cheatsheet | Scrapy commands, CSS/XPath, curl, user-agents |
faq | Legality, JS pages, blocking, storage |
All commands output plain-text reference documentation via heredoc. No external API calls, no credentials needed, no network access.
Powered by BytesAgain | bytesagain.com | hello@bytesagain.com