Skip to main content

xberg-io/crawlberg

Dernière activité source enregistrée
Catalogue SkillsMP mis à jour
skills collectés
18
Étoiles GitHub
182
Forks GitHub
28

Chargement du README du dépôt…

Skills dans ce dépôt

Affichage de 18 skills collectés sur 18.

métier
non classé
description

Use when extracting a page needs scripted interaction first — click, type, press a key, scroll, wait, screenshot, or run JS before capturing the DOM. Covers `crawlberg interact URL --actions` with the real action schema, result shape, limits, and external-CDP…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Crawl, scrape, and convert websites to Markdown using the local crawlberg CLI and its MCP server. Use when the user wants to fetch a page, follow links across a domain, enumerate URLs, or drive a real browser. Covers installation, the subcommands (scrape,…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when the user wants to follow links across a domain and capture every reachable page as Markdown. Covers `crawlberg crawl` with depth, page caps, concurrency, rate limiting, domain scoping, robots, and output selection.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when a static fetch returns nothing useful and the page needs a real browser. Covers `--browser-mode auto|always|never`, external CDP via `--browser-endpoint`, symptoms of JS-only pages and WAF blocks, and the performance cost.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when the user wants the list of URLs on a site rather than the page content — sitemap analysis, link planning, or seeding another tool. Covers `crawlberg map URL` with `--limit`, `--search`, robots, output, and how it differs from a full crawl.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when the user wants a single page rendered as clean Markdown plus structured metadata. Covers `crawlberg scrape URL`, JSON vs Markdown output, what metadata is returned, and how to handle JS-heavy pages.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when the user wants a long-running HTTP service for scrape/crawl/map instead of one-shot CLI calls or the MCP server — for example wiring crawlberg into other apps over REST. Covers `crawlberg serve`, the Firecrawl-v1-compatible endpoints,…

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Use crawlberg api reference documentation.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Use crawlberg cli reference documentation.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Use crawlberg mcp reference documentation.

Langue du texte source : anglais

mis à jour
métier
Analystes en assurance qualité des logiciels et testeurs
description

Crawlberg iteration loops codified as Taskfile tasks — alef install/generate/format/bump, core and binding builds, e2e generate/build/test cycles, cleanup tiers, and the mock-server / stale-.so / precompiled-NIF / generated-e2e gotchas. Load when running or…

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Use when the user wants to follow links across a domain and capture every reachable page as Markdown. Covers `crawlberg crawl` with depth, page caps, concurrency, rate limiting, domain scoping, robots, and output selection.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Use when the user wants a single page rendered as clean Markdown plus structured metadata. Covers `crawlberg scrape URL`, JSON vs Markdown output, what metadata is returned, and how to handle JS-heavy pages.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Use when extracting a page needs scripted interaction first — click, type, press a key, scroll, wait, screenshot, or run JS before capturing the DOM. Covers `crawlberg interact URL --actions` with the real action schema, result shape, limits, and external-CDP…

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Crawl, scrape, and convert websites to Markdown using the local crawlberg CLI and its MCP server. Use when the user wants to fetch a page, follow links across a domain, enumerate URLs, or drive a real browser. Covers installation, the subcommands (scrape,…

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Use when a static fetch returns nothing useful and the page needs a real browser. Covers `--browser-mode auto|always|never`, external CDP via `--browser-endpoint`, symptoms of JS-only pages and WAF blocks, and the performance cost.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Use when the user wants the list of URLs on a site rather than the page content — sitemap analysis, link planning, or seeding another tool. Covers `crawlberg map URL` with `--limit`, `--search`, robots, output, and how it differs from a full crawl.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Use when the user wants a long-running HTTP service for scrape/crawl/map instead of one-shot CLI calls or the MCP server — for example wiring crawlberg into other apps over REST. Covers `crawlberg serve`, the Firecrawl-v1-compatible endpoints,…

Langue du texte source : anglais

mis à jour
Affichage de 18 skills collectés sur 18.

Installer avec un assistant IA

Copiez ce prompt dans l’assistant IA que vous utilisez.