Firecrawl网页抓取与搜索
强大的网页抓取和搜索工具集,共 6 个工具(含爬取状态检查)。
MCP Access: Use mcporter
你必须通过 mcporter skill 来操作 MCP,完成本 skill 的所有网页抓取任务。 不得直接调用 MCP 工具;所有 MCP 操作都必须经由 mcporter 路由。
- 配置:全局 MCP 配置文件位于
~/.openclaw/workspace/config/mcporter.json。读取该文件并仅使用firecrawl-mcp-server-cloud对应的配置。 - 列出工具:
mcporter list firecrawl-mcp-server-cloud --schema - 调用工具:
mcporter call firecrawl-mcp-server-cloud.<tool> key=value
快速决策
抓取单个网页内容(最常用)
mcporter call firecrawl-mcp-server-cloud.firecrawl_scrape \
url="https://example.com/article"
搜索网页(类Google搜索)
mcporter call firecrawl-mcp-server-cloud.firecrawl_search \
query="人工智能最新进展 2024" limit=5
发现网站所有URL
mcporter call firecrawl-mcp-server-cloud.firecrawl_map \
url="https://example.com" limit=100
全站爬取(获取多页内容)
mcporter call firecrawl-mcp-server-cloud.firecrawl_crawl \
url="https://example.com/blog" maxDiscoveryDepth=2 limit=20
结构化数据提取
mcporter call firecrawl-mcp-server-cloud.firecrawl_extract \
--args '{"urls":["https://example.com/product"],"prompt":"提取产品名称、价格和描述"}'
工具说明
firecrawl_scrape(单页抓取,最推荐)
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
url |
string | ✅ | 目标网页 URL |
formats |
string[] | ❌ | 输出格式:markdown/html/screenshot/links/summary 等 |
onlyMainContent |
boolean | ❌ | 仅提取正文内容 |
maxAge |
number | ❌ | 缓存最大年龄(ms),设置可使抓取快5倍 |
firecrawl_search(网页搜索)
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
query |
string | ✅ | 搜索词,支持 site:、-、""、intitle: 等搜索运算符 |
limit |
number | ❌ | 返回结果数 |
sources |
array | ❌ | 来源类型:web/images/news |
firecrawl_map(网站 URL 发现)
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
url |
string | ✅ | 网站 URL |
search |
string | ❌ | 过滤关键词 |
limit |
number | ❌ | 最大 URL 数量 |
firecrawl_crawl(全站爬取,异步)
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
url |
string | ✅ | 起始 URL |
maxDiscoveryDepth |
number | ❌ | 最大爬取深度(建议≤5) |
limit |
number | ❌ | 最大页面数(建议≤20) |
⚠️ 爬取是异步操作,需要用
firecrawl_check_crawl_status检查进度
firecrawl_extract(结构化提取)
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
urls |
string[] | ✅ | 目标 URL 列表 |
prompt |
string | ❌ | 提取指令 |
schema |
object | ❌ | JSON Schema 定义输出结构 |
工作流建议
最优工作流:先用 firecrawl_search 不带 formats 参数搜索,获得结果后再用 firecrawl_scrape 抓取具体页面内容。
注意事项
firecrawl_scrape是最快最可靠的工具,优先使用- 设置
maxAge参数可利用缓存,速度提升5倍 - 爬取时
limit和maxDiscoveryDepth不要设太高,避免 token 溢出 - 调用前请先读取
~/.openclaw/workspace/config/mcporter.json,仅使用firecrawl-mcp-server-cloud对应的配置

