Extraction web

Lisez des pages web qu'un fetch classique ne peut pas traiter. Tous les outils renvoient du markdown propre — aucun parsing HTML dans votre Skill.

Ce que vous pouvez faire

• Extraire une page — SPA rendues en JavaScript, pages protégées anti-bot, extraction du contenu principal.
• Cartographier un site — lister toutes les URL indexées d'un domaine, avec filtre optionnel par mot-clé.
• Explorer une section — extraire récursivement un site de documentation ou une section, page par page.

Limites (à lire d'abord)

• Préférez le fetch web intégré pour les pages simples. Les pages statiques, articles et documentations publiques fonctionnent très bien avec le fetch intégré et gratuit de l'agent. N'utilisez ces outils que si la page est rendue en JavaScript, bloque les fetchs classiques, ou si vous avez besoin d'une exploration en masse.
• Le limit d'un crawl est le plafond de facturation. Un crawl est mesuré par sa limite de pages à la soumission — réglez-la selon la tâche (10 par défaut, max 50), sans la maximiser par habitude.
• Les pages longues sont tronquées. Une extraction renvoie jusqu'à ~50k caractères ; un crawl terminé affiche les 3 premières pages (~10k caractères chacune) et liste le reste par URL. Pour lire une page listée en entier, extrayez-la individuellement — servie depuis le cache, rapide, au coût d'une page.

Outils

firecrawl_start_crawl : limit va de 1 à 50 (10 par défaut) et sert aussi de plafond de facturation ; include_paths / exclude_paths acceptent des motifs comme ["/guide/*"].

Le crawl est asynchrone, en deux étapes

Comme la génération vidéo : soumettez le job (recevez un crawl_id), puis interrogez firecrawl_get_crawl_status toutes les quelques secondes jusqu'à completed. Un crawl de 10 pages se termine généralement en moins d'une minute.

L'utiliser dans une Skill

• Étudier un site de docs : firecrawl_map avec un mot-clé search pour trouver les pages pertinentes → firecrawl_scrape sur les deux ou trois qui comptent.
• Lire une section en masse : firecrawl_start_crawl avec include_paths: ["/guide/*"] et un limit bien dimensionné → interroger le statut → lire l'index et le contenu inline → extraire individuellement ce dont vous avez besoin en entier.
• Une page que le fetch intégré ne peut pas lire : firecrawl_scrape avec l'URL — le navigateur headless rend le JavaScript et extrait le contenu principal.