Skip to main content

llm-friendly-web-crawler

Usa al crawlear web LLM-friendly con crawl4ai.

설치로 이동

소스 정보

저장소
Ntizar/MasterMind
최근 소스 활동
2026년 9월 5일 21:27
감지된 SKILL.md 언어
스페인어
스타
2
포크
0

설치 방법

기본적으로 소스를 먼저 확인하는 Prompt가 선택됩니다. 직접 명령으로 전환하거나 로컬 사본을 다운로드할 수도 있습니다.

소스 파일 검토

설치 여부를 결정하기 전에 SKILL.md와 SkillsMP에 표시된 보조 파일을 읽어 보세요.

SKILL.md 표시 중

SKILL.md
소스 지침 · 읽기 전용 미리보기
name
llm-friendly-web-crawler
description
Usa al crawlear web LLM-friendly con crawl4ai.
version
2.0.0
tags
["crawler","crawl4ai","web","llm","scraping","markdown","pydantic"]
related_skills
["firecrawl-web-scraping","adaptive-web-scraping","crawlee-web-scraping","browser-use-ai"]
# Crawl4AI — crawling web LLM-friendly > ⚠️ Corrección 2026-09-05 (auditoría): la clase `CrawlerStrategy` NO existe y `result.markdown` es un objeto, no un string. API real = `BrowserConfig`/`CrawlerRunConfig` + strategies `JsonCssExtractionStrategy`/`LLMExtractionStrategy`. **Repo:** `https://github.com/unclecode/crawl4ai` (Python, ~81K⭐). ## When to Use - Cuando pidas **crawling LLM-friendly**: extraer contenido de una web en markdown/JSON listo para meter en un LLM. ## Uso (API real) ```python from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode, JsonCssExtractionStrategy, LLMExtractionStrategy async with AsyncWebCrawler() as crawler: result = await crawler.arun("https://ejemplo.com", config=CrawlerRunConfig(cache_mode=CacheMode.BYPASS)) md = result.markdown.raw_markdown # markdown es un OBJETO con .raw_markdown / .fit_markdown print(md[:500]) ``` Extracción estructurada: ```python schema = {...} strategy = JsonCssExtractionStrategy(schema, verbose=True) # o LLMExtractionStrategy(...) ``` ## Pitfalls - **No existe** `CrawlerStrategy` — usa `JsonCssExtractionStrategy`/`LLMExtractionStrategy`. - `result.markdown` es un objeto: `.raw_markdown`/`.fit_markdown`, no `[:500]` a secas. - El core es `AsyncWebCrawler` + `CrawlerRunConfig` (o `BrowserConfig`). ## Verificación - `await crawler.arun(url)` y leer `result.markdown.raw_markdown`. Para extracción con schema, `JsonCssExtractionStrategy`.
GitHub에서 보기