Firecrawl 网页抓取
抓取一个或多个 URL，返回干净的、LLM 优化的 Markdown。多个 URL 并发抓取。
使用场景
- 你有特定的 URL 并想要其内容
- 页面是静态或 JS 渲染的（SPA）
- 工作流升级模式的第 2 步：搜索 → 抓取 → 映射 → 爬取 → 交互
快速开始
# 基础 Markdown 提取
firecrawl scrape "<url>" -o .firecrawl/page.md
# 仅主内容，无导航/页脚
firecrawl scrape "<url>" --only-main-content -o .firecrawl/page.md
# 等待 JS 渲染后抓取
firecrawl scrape "<url>" --wait-for 3000 -o .firecrawl/page.md
# 多个 URL（每个保存到 .firecrawl/）
firecrawl scrape https://example.com https://example.com/blog https://example.com/docs
# 获取 Markdown 和链接
firecrawl scrape "<url>" --format markdown,links -o .firecrawl/page.json
# 询问页面内容的问题
firecrawl scrape "https://example.com/pricing" --query "企业版价格是多少？"
选项
| 选项 | 描述 |
|---|---|
-f, --format <formats> |
输出格式：markdown, html, rawHtml, links, screenshot, json |
-Q, --query <prompt> |
询问页面内容的问题（5 积分） |
-H |
在输出中包含 HTTP 头 |
--only-main-content |
去除导航、页脚、侧边栏 — 仅主内容 |
--wait-for <ms> |
抓取前等待 JS 渲染 |
--include-tags <tags> |
仅包含这些 HTML 标签 |
--exclude-tags <tags> |
排除这些 HTML 标签 |
-o, --output <path> |
输出文件路径 |
提示
- 优先使用普通抓取而非
--query。 抓取到文件，然后用grep、head或直接读取 Markdown — 你可以自己搜索和推理完整内容。仅当你想要单个目标答案而不保存页面时使用--query（额外消耗 5 积分）。 - 先尝试抓取再交互。 抓取可以处理静态页面和 JS 渲染的 SPA。仅在需要交互（点击、表单填充、分页）时升级到
interact。 - 多个 URL 并发抓取 — 用
firecrawl --status查看你的并发限制。 - 单格式输出原始内容。多格式（如
--format markdown,links）输出 JSON。 - 始终引用 URL — shell 会将
?和&解释为特殊字符。 - 命名约定：
.firecrawl/{site}-{path}.md
另见
- firecrawl-search — 当你没有 URL 时查找页面
- firecrawl-browser — 当抓取无法获取内容时，用
interact点击、填充表单等 - firecrawl-download — 批量下载整个站点到本地文件
中文翻译版 | 原版：firecrawl-scrape version: "1.0.0"