القائمة
Framework de scraping web más popular de Python — extensible, asíncrono, con middleware, pipelines y scraping a escala.
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
استنادا إلى تصنيف SOC المهني
| name | scrapy-web-scraping |
| description | Framework de scraping web más popular de Python — extensible, asíncrono, con middleware, pipelines y scraping a escala. |
| version | 1.0.0 |
| tags | ["scraping","web","python","async","crawler","middleware"] |
Framework de scraping web más popular de Python — extensible, asíncrono, con middleware y pipelines. 62k⭐.
github.com/scrapy/scrapypip install scrapy
pip install scrapy-splash # para JavaScript rendering
pip install scrapy-redis # para distributed scraping
# spider.py
import scrapy
class ExampleSpider(scrapy.Spider):
name = "example"
start_urls = ["https://example.com"]
def parse(self, response):
for href in response.css("a::attr(href)").getall():
yield response.follow(href, self.parse)
yield {
'title': response.css('h1::text').get(),
'text': response.css('p::text').getall(),
}
# Salida JSON
scrapy crawl example -o results.json
# Salida CSV
scrapy crawl example -o results.csv
# Con logging detallado
scrapy crawl example -s LOG_LEVEL=DEBUG
BeautifulSoup + requests para scraping a escalafirecrawl-web-scraping (scrapy programable, firecrawl API-based)DOWNLOAD_DELAY para no saturar servidores.ROBOTSTXT_OBEY = True.itemproc con pipelines asíncronos.Catálogo de Addy Osmani de skills engineering para AI coding agents — 8 slash commands mapeados al SDLC (spec → plan → build → test → review → ship).
Generación de informes y documentos profesionales mediante LLM. Arquitectura prompt→LLM→HTML capítulo, plantillas por sección, integración con datos de appState, y patrón demo interactivo. Aplicable a PMST, informes técnicos, auditorías, y cualquier documento estructurado.
AI Engineering Hub — catálogo de proyectos y tutoriales de ingeniería de IA con Jupyter notebooks.
AI Website Cloner — genera clonaciones de sitios web completas con IA desde una URL.
AutoScraper — scraping web automático con IA, aprende patrones de selección y extrae datos sin código.
Baidu Unlimited OCR — OCR gratuito de alta calidad sin límites de uso.