MCP Tools
网页抓取
把 JS 渲染的页面抓成干净的 markdown,枚举站点 URL,或整站抓取文档。由 headless 浏览器驱动。
读取普通 fetch 搞不定的网页。所有工具都返回干净的 markdown——你的 Skill 不用解析 HTML。
你能做什么
- 抓取单页 —— JS 渲染的 SPA、有反爬保护的页面、正文提取。
- 枚举站点 —— 列出一个域名下的全部已索引 URL,可按关键词过滤。
- 抓取分区 —— 递归抓取一个文档站或站点分区,逐页转 markdown。
边界(先读这里)
- 简单页面优先用内置网页读取。 静态页面、文章、公开文档用 Agent 免费的内置 fetch 就够了。只在页面是 JS 渲染、拒绝普通抓取、或需要批量抓取时才用这组工具。
- crawl 的
limit就是计费上界。 整站抓取按提交时的页数上限计量——按任务需要设置(默认 10,最大 50),不要习惯性拉满。 - 超长内容会内联截断。 单页抓取最多返回约 5 万字符;抓取完成的 crawl 内联前 3 页(每页约 1 万字符),其余只列 URL。要读某一页的全文,单独抓它——走缓存,很快,仍按一页计。
工具
| 工具 | 输入 | 返回 |
|---|---|---|
firecrawl_scrape | url, only_main_content? | 页面标题、源 URL、状态码、正文 markdown |
firecrawl_map | url, search?, limit? | 站点 URL 列表(默认 100,最大 500) |
firecrawl_start_crawl | url, limit?, include_paths?, exclude_paths? | 立即返回 crawl_id——抓取在后台进行 |
firecrawl_get_crawl_status | crawl_id | 进行中给进度;完成后给页面索引 + 前几页内联正文 |
firecrawl_start_crawl:limit 为 1–50(默认 10),同时是计费上限;include_paths / exclude_paths 接受 ["/guide/*"] 这样的模式。
整站抓取是异步两步
和视频生成一样:先提交任务(拿到 crawl_id),再每隔几秒轮询 firecrawl_get_crawl_status 直到 completed。10 页的抓取通常一分钟内完成。
在 Skill 里怎么用
- 研究一个文档站: 用
firecrawl_map带search关键词找到相关页面 → 用firecrawl_scrape抓最关键的两三页。 - 批量读一个分区:
firecrawl_start_crawl带include_paths: ["/guide/*"]和合适的limit→ 轮询状态 → 读页面索引和内联正文 → 需要全文的页面再单独抓。 - 内置读取搞不定的页面: 直接
firecrawl_scrape这个 URL——headless 浏览器会渲染 JS 并提取正文。
