Estrazione web

Estrai pagine renderizzate in JavaScript in markdown pulito, elenca le URL di un sito o esplora un intero sito di documentazione. Basato su un browser headless.

Leggi pagine web che un fetch normale non riesce a gestire. Tutti gli strumenti restituiscono markdown pulito — nessun parsing HTML nella tua Skill.

Cosa puoi fare

Estrarre una pagina — SPA renderizzate in JavaScript, pagine con protezione anti-bot, estrazione del contenuto principale.
Mappare un sito — elencare tutte le URL indicizzate di un dominio, con filtro opzionale per parola chiave.
Esplorare una sezione — estrarre ricorsivamente un sito di documentazione o una sezione, pagina per pagina.

Limiti (leggi prima questi)

Preferisci il fetch web integrato per le pagine semplici. Pagine statiche, articoli e documentazione pubblica funzionano bene con il fetch integrato e gratuito dell'agent. Usa questi strumenti solo quando la pagina è renderizzata in JavaScript, blocca i fetch normali o serve un'esplorazione massiva.
Il limit di un crawl è il tetto di fatturazione. Un crawl viene misurato dal suo limite di pagine all'invio — impostalo su ciò che serve al compito (10 di default, max 50), senza massimizzarlo per abitudine.
Le pagine lunghe vengono troncate. Un'estrazione restituisce fino a ~50k caratteri; un crawl completato mostra inline le prime 3 pagine (~10k caratteri ciascuna) ed elenca il resto per URL. Per leggere per intero una pagina elencata, estraila singolarmente — servita dalla cache, veloce, al costo di una pagina.

Strumenti

Strumento	Input	Restituisce
`firecrawl_scrape`	`url`, `only_main_content?`	Titolo, URL di origine, codice di stato, corpo in markdown
`firecrawl_map`	`url`, `search?`, `limit?`	Elenco delle URL del sito (100 di default, max 500)
`firecrawl_start_crawl`	`url`, `limit?`, `include_paths?`, `exclude_paths?`	Un `crawl_id` immediato — il crawl gira in background
`firecrawl_get_crawl_status`	`crawl_id`	Avanzamento durante il crawl; indice delle pagine + prime pagine inline al completamento

firecrawl_start_crawl: limit va da 1 a 50 (10 di default) ed è anche il tetto di fatturazione; include_paths / exclude_paths accettano pattern come ["/guide/*"].

Il crawl è asincrono, in due passi

Come la generazione video: invii il job (ricevi un crawl_id), poi interroghi firecrawl_get_crawl_status ogni pochi secondi fino a completed. Un crawl di 10 pagine di solito termina in meno di un minuto.

Usarlo in una Skill

Studiare un sito di documentazione: firecrawl_map con una parola chiave in search per trovare le pagine rilevanti → firecrawl_scrape sulle due o tre che contano.
Leggere una sezione in blocco: firecrawl_start_crawl con include_paths: ["/guide/*"] e un limit ben dimensionato → interrogare lo stato → leggere l'indice e il contenuto inline → estrarre singolarmente ciò che serve per intero.
Una pagina che il fetch integrato non riesce a leggere: firecrawl_scrape con l'URL — il browser headless renderizza JavaScript ed estrae il contenuto principale.