mcp-page-spider — 网页抓取与爬虫
360 网页抓取工具集，支持普通网页、小红书、视频采集和深度层级爬取，可输出 Markdown 或 HTML 格式。
MCP Access: Use mcporter
你必须通过 mcporter skill 来操作 MCP，完成本 skill 的所有网页抓取任务。 不得直接调用 MCP 工具；所有 MCP 操作都必须经由 mcporter 路由。
- 配置：全局 MCP 配置文件位于
~/.openclaw/workspace/config/mcporter.json。在使用 mcporter 之前，你必须读取该文件，并仅使用本 skill 声明的 MCP 服务器/工具对应的配置（服务器名：mcp-page-spider）。不得使用配置文件中其他 MCP；只能使用本 skill 明确声明的那些。 - 列出服务器/工具：
mcporter list mcp-page-spider --schema查看工具详情。 - 调用工具：
mcporter call mcp-page-spider.<tool> key=value - 本 skill 的工具列表定义了可用的 MCP 服务器/工具；请仅通过 mcporter 调用它们，并使用全局配置文件中对应的配置项。
快速决策
| 需求 | 工具 | 示例 |
|---|---|---|
| 抓取普通网页 | 360_crawler |
mcporter call mcp-page-spider.360_crawler url="https://example.com" |
| 抓取小红书内容 | 360_crawler_redbook |
mcporter call mcp-page-spider.360_crawler_redbook url="https://www.xiaohongshu.com/..." |
| 下载/采集视频 | 360_crawler_video |
mcporter call mcp-page-spider.360_crawler_video url="https://example.com/video" |
| 深度层级爬取网站 | 360_depth_crawler |
mcporter call mcp-page-spider.360_depth_crawler url="https://example.com" intent="产品信息" |
工具详情
360_crawler — 普通网页抓取
抓取单个网页内容，支持 JS 渲染、截图、图片下载等选项。
# 基本抓取（Markdown格式）
mcporter call mcp-page-spider.360_crawler url="https://example.com" markdown_out=1
# 需要截图
mcporter call mcp-page-spider.360_crawler url="https://example.com" screenshot=1
# 带 cookie（应对登录/反爬虫）
mcporter call mcp-page-spider.360_crawler url="https://example.com" cookie_str="your_cookie"
主要参数：
| 参数 | 默认值 | 说明 |
|---|---|---|
url |
- | 目标网页 URL（必填） |
markdown_out |
1 | 输出 Markdown 格式（1=是，0=HTML） |
force_js |
1 | 强制 JS 渲染 |
screenshot |
0 | 输出网页截图 |
need_image |
0 | 下载网页图片 |
article_image |
0 | 输出正文插图 |
cookie_str |
null | Cookie 字符串 |
360_crawler_redbook — 小红书抓取
专门用于抓取小红书笔记内容。
mcporter call mcp-page-spider.360_crawler_redbook url="https://www.xiaohongshu.com/explore/xxxxx"
360_crawler_video — 视频采集
下载网页中的视频内容。
mcporter call mcp-page-spider.360_crawler_video url="https://example.com/video-page"
360_depth_crawler — 深度层级爬取
通过入口 URL 进行层级采集，根据意图词筛选目标页面。
mcporter call mcp-page-spider.360_depth_crawler url="https://example.com" intent="产品价格信息"
注意事项
- 调用工具前，请先读取
~/.openclaw/workspace/config/mcporter.json，仅使用mcp-page-spider的配置 - 对于需要登录的页面，传入
cookie_str参数 - 深度爬取时提供准确的
intent意图词可提高爬取精准度