MCP Tools

网页抓取

把 JS 渲染的页面抓成干净的 markdown,枚举站点 URL,或整站抓取文档。由 headless 浏览器驱动。

读取普通 fetch 搞不定的网页。所有工具都返回干净的 markdown——你的 Skill 不用解析 HTML。

你能做什么

  • 抓取单页 —— JS 渲染的 SPA、有反爬保护的页面、正文提取。
  • 枚举站点 —— 列出一个域名下的全部已索引 URL,可按关键词过滤。
  • 抓取分区 —— 递归抓取一个文档站或站点分区,逐页转 markdown。

边界(先读这里)

  • 简单页面优先用内置网页读取。 静态页面、文章、公开文档用 Agent 免费的内置 fetch 就够了。只在页面是 JS 渲染、拒绝普通抓取、或需要批量抓取时才用这组工具。
  • crawl 的 limit 就是计费上界。 整站抓取按提交时的页数上限计量——按任务需要设置(默认 10,最大 50),不要习惯性拉满。
  • 超长内容会内联截断。 单页抓取最多返回约 5 万字符;抓取完成的 crawl 内联前 3 页(每页约 1 万字符),其余只列 URL。要读某一页的全文,单独抓它——走缓存,很快,仍按一页计。

工具

工具输入返回
firecrawl_scrapeurl, only_main_content?页面标题、源 URL、状态码、正文 markdown
firecrawl_mapurl, search?, limit?站点 URL 列表(默认 100,最大 500)
firecrawl_start_crawlurl, limit?, include_paths?, exclude_paths?立即返回 crawl_id——抓取在后台进行
firecrawl_get_crawl_statuscrawl_id进行中给进度;完成后给页面索引 + 前几页内联正文

firecrawl_start_crawl:limit 为 1–50(默认 10),同时是计费上限;include_paths / exclude_paths 接受 ["/guide/*"] 这样的模式。

整站抓取是异步两步

和视频生成一样:先提交任务(拿到 crawl_id),再每隔几秒轮询 firecrawl_get_crawl_status 直到 completed。10 页的抓取通常一分钟内完成。

在 Skill 里怎么用

  • 研究一个文档站: 用 firecrawl_map 带 search 关键词找到相关页面 → 用 firecrawl_scrape 抓最关键的两三页。
  • 批量读一个分区: firecrawl_start_crawl 带 include_paths: ["/guide/*"] 和合适的 limit → 轮询状态 → 读页面索引和内联正文 → 需要全文的页面再单独抓。
  • 内置读取搞不定的页面: 直接 firecrawl_scrape 这个 URL——headless 浏览器会渲染 JS 并提取正文。