360 Secure SkillHub
360 安全技能中心

web-data-extractor（网页数据采集器，支持 CSS/XPath 选择器、批量抓取、自动分页、数据导出（CSV/JSON）。 适用于市场调研、竞品分析、内容聚合。）

该 Skill 用于从网页批量提取结构化数据，声明支持 CSS 选择器与 XPath 提取、URL 列表与自动分页批量抓取、并发控制，以及 CSV、JSON、Markdown 三种导出格式，并列出市场调研、内容聚合、数据分析、舆情监控、SEO 分析等场景。文档中除少量调用示例外，多数能力仅为条目式描述，未给出具体实现代码、限速与合规检查细节。

careytian-ai
careytian-ai
热度 65.09
最近更新 2026-05-11 17:37:59
分类：数据依赖：联网浏览搜索 / 读写文件应用场景：数据处理 / 研究 / 市场分析 / 自动化脚本

安装技能

复制下面的话术发给你的 Agent，它会通过 secure-skills 检索并安装该技能。

执行命令安装此 skill： npx secure-skills-cli add web-data-extractor
Metadata
name
web-data-extractor
description
网页数据采集器，支持 CSS 选择器/XPath 提取、批量抓取、自动分页、数据导出（CSV/JSON/Markdown）。
metadata
{"openclaw":{"requires":{"bins":["web_fetch","read","write"]}}}

网页数据采集器 v1.0.0

从网页批量提取结构化数据，支持多种选择器和导出格式。

功能特性

1. CSS 选择器提取

// 提取所有标题
web_fetch({"url": "https://example.com"})
// 使用 CSS 选择器提取特定元素

2. XPath 提取

// 支持 XPath 路径提取复杂结构

3. 批量抓取

  • 自动分页处理
  • URL 列表批量处理
  • 并发控制

4. 数据导出

  • CSV 格式
  • JSON 格式
  • Markdown 表格

快速使用示例

// 提取文章列表
const articles = extractData({
  url: "https://blog.example.com",
  selector: ".article-card",
  fields: {
    title: "h2.title",
    link: "a[href]",
    date: ".publish-date"
  }
})

// 导出为 CSV
exportToCSV(articles, "output.csv")

// 导出为 JSON
exportToJSON(articles, "output.json")

// 批量抓取多页
const allData = scrapeMultiple({
  baseUrl: "https://example.com/page/",
  pages: 10,
  selector: ".item"
})

使用场景

  1. 市场调研 - 抓取竞品价格、产品信息
  2. 内容聚合 - 收集多源内容
  3. 数据分析 - 提取公开数据集
  4. 舆情监控 - 追踪 mentions、评论
  5. SEO 分析 - 抓取关键词排名

注意事项

  • 遵守目标网站的 robots.txt
  • 控制抓取频率，避免被封
  • 仅抓取公开数据

定制开发

需要定制化数据采集、清洗或自动化工作流？

📧 联系：careytian-ai@github

许可证

MIT-0