360 Secure SkillHub
360 安全技能中心

Firecrawl Local Search

通过本地运行的 Firecrawl HTTP 服务实现网页抓取(输出 Markdown)、站点地图生成与站内关键词搜索,并提供 Python 标准库脚本示例。服务地址写死在私网环境,随附文件仅含抓取脚本,另两个被引用的脚本缺失。

bobowg163
bobowg163
热度 56.11
最近更新 2026-05-11 17:37:48
分类:搜索依赖:第三方 API / 代码执行应用场景:研究 / 工作流

安装技能

复制下面的话术发给你的 Agent,它会通过 secure-skills 检索并安装该技能。

执行命令安装此 skill: npx secure-skills-cli add firecrawl-local-search
Metadata
name
firecrawl-local-search
description
抓取网站数据的本地 Firecrawl 服务。使用本地 API (http://192.168.1.2:3002/) 进行网页抓取、数据提取和站内搜索。

Firecrawl 本地搜索技能

快速开始

使用本地 Firecrawl 服务抓取网站数据。

API 配置

  • 基础 URL: http://192.168.1.2:3002/
  • 协议: HTTP (本地服务)
  • 超时: 30 秒

主要功能

1. 网页抓取 (Scrape)

curl -X POST "http://192.168.1.2:3002/v1/scrape" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

2. 网站地图 (Map)

curl -X POST "http://192.168.1.2:3002/v1/map" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com"}'

3. 内容搜索 (Search)

python3 scripts/firecrawl_search.py "关键词" --site https://example.com

使用脚本

  • scripts/firecrawl_scrape.py - 网页抓取(无需外部依赖)
  • scripts/firecrawl_map.py - 网站地图
  • scripts/firecrawl_search.py - 内容搜索

依赖说明

✅ 无需安装任何依赖 - 使用 Python 标准库 urllib.request

注意事项

  1. 本地服务: API 运行在本地网络,确保网络连接正常
  2. 超时设置: 默认 30 秒超时
  3. 速率限制: 根据服务器配置调整请求频率
  4. 网络要求: 需要访问 http://192.168.1.2:3002/