Scrapling Web Fetch

基于 Scrapling 与 html2text 的网页抓取脚本：按 article、main 等选择器提取正文并转为 Markdown，支持最大字符截断、JSON 输出、批量 URL 与站点选择器覆盖，含微信文章尾部噪音清洗，适合博客、新闻、公告类页面。

热度 89.43

最近更新 2026-05-11 17:29:40

分类：效率依赖：代码执行 / 读写文件应用场景：文件转换 / 工作流

安装技能

复制下面的话术发给你的 Agent，它会通过 secure-skills 检索并安装该技能。

执行命令安装此 skill： npx secure-skills-cli add scrapling-web-fetch

Metadata

name: scrapling-web-fetch
description: 使用 Scrapling + html2text 获取现代网页正文内容，支持微信公众号文章抓取与尾部噪音清洗，减少无用信息与 token 消耗；适合抓取博客、新闻、公告及许多普通 fetch 不稳定、存在反爬或动态渲染干扰的网页。Supports WeChat article cleanup, markdown output, batch fetch, selector overrides, and many hard-to-fetch modern pages.

当用户要获取网页内容、正文提取、把网页转成 markdown/text、抓取文章主体时，优先使用此技能。

python3 /Users/zzd/.openclaw/workspace/skills/scrapling-web-fetch/scripts/scrapling_fetch.py <url> 30000

优先检查：

若缺失，可安装：

python3 -m pip install scrapling html2text

脚本默认输出 Markdown 正文内容。如需结构化输出，可追加 --json。如需调试提取命中了哪个 selector，可查看 stderr 输出。

用法参考：/Users/zzd/.openclaw/workspace/skills/scrapling-web-fetch/references/usage.md
选择器策略：/Users/zzd/.openclaw/workspace/skills/scrapling-web-fetch/references/selectors.md
统一入口：/Users/zzd/.openclaw/workspace/skills/scrapling-web-fetch/scripts/fetch-web-content