Web-Scraping

JavaScript-gerenderte Seiten in sauberes Markdown extrahieren, die URLs einer Website auflisten oder eine ganze Doku-Site crawlen. Angetrieben von einem Headless-Browser.

Webseiten lesen, die ein einfacher Fetch nicht verarbeiten kann. Alle Werkzeuge liefern sauberes Markdown — kein HTML-Parsing in deiner Skill.

Was du tun kannst

Eine Seite scrapen — JavaScript-gerenderte SPAs, Anti-Bot-geschützte Seiten, Extraktion des Hauptinhalts.
Eine Site mappen — alle indexierten URLs einer Domain auflisten, optional nach Stichwort gefiltert.
Einen Bereich crawlen — eine Doku-Site oder einen Site-Bereich rekursiv Seite für Seite extrahieren.

Grenzen (zuerst lesen)

Für einfache Seiten den eingebauten Web-Fetch bevorzugen. Statische Seiten, Artikel und öffentliche Doku funktionieren gut mit dem kostenlosen eingebauten Fetch des Agents. Greife nur zu diesen Werkzeugen, wenn die Seite JavaScript-gerendert ist, einfache Fetches blockiert oder du Massen-Crawling brauchst.
Das limit eines Crawls ist die Abrechnungsobergrenze. Ein Crawl wird bei der Übermittlung nach seinem Seitenlimit bemessen — stelle es auf das ein, was die Aufgabe braucht (Standard 10, max. 50), nicht aus Gewohnheit ausreizen.
Lange Seiten werden gekürzt. Ein Scrape liefert bis zu ~50k Zeichen; ein abgeschlossener Crawl zeigt die ersten 3 Seiten inline (~10k Zeichen je Seite) und listet den Rest per URL. Um eine gelistete Seite vollständig zu lesen, scrape sie einzeln — aus dem Cache, schnell, zum Preis einer Seite.

Werkzeuge

Werkzeug	Eingabe	Liefert
`firecrawl_scrape`	`url`, `only_main_content?`	Titel, Quell-URL, Statuscode, Markdown-Inhalt
`firecrawl_map`	`url`, `search?`, `limit?`	Liste der Site-URLs (Standard 100, max. 500)
`firecrawl_start_crawl`	`url`, `limit?`, `include_paths?`, `exclude_paths?`	Sofort eine `crawl_id` — der Crawl läuft im Hintergrund
`firecrawl_get_crawl_status`	`crawl_id`	Fortschritt während des Crawls; Seitenindex + erste Seiten inline nach Abschluss

firecrawl_start_crawl: limit ist 1–50 (Standard 10) und zugleich die Abrechnungsobergrenze; include_paths / exclude_paths nehmen Muster wie ["/guide/*"].

Crawling ist asynchron, in zwei Schritten

Wie die Videogenerierung: Job übermitteln (crawl_id erhalten), dann firecrawl_get_crawl_status alle paar Sekunden abfragen, bis completed. Ein Crawl mit 10 Seiten ist meist in unter einer Minute fertig.

In einer Skill verwenden

Eine Doku-Site recherchieren: firecrawl_map mit einem search-Stichwort, um relevante Seiten zu finden → firecrawl_scrape für die zwei, drei wichtigen.
Einen Bereich am Stück lesen: firecrawl_start_crawl mit include_paths: ["/guide/*"] und passendem limit → Status abfragen → Seitenindex und Inline-Inhalt lesen → einzelne Seiten bei Bedarf vollständig scrapen.
Eine Seite, die der eingebaute Fetch nicht lesen kann: firecrawl_scrape mit der URL — der Headless-Browser rendert JavaScript und extrahiert den Hauptinhalt.