crawl-for-ai

该 Skill 提供网页抓取能力：调用 SkillBoss API Hub 的抓取接口获取完整页面内容（含 JavaScript 渲染的动态内容），并以干净的 markdown 或完整 JSON 形式返回。需要配置 SKILLBOSS_API_KEY 环境变量，通过 Node 脚本命令传入网址执行。

abeltennyson

热度 39.44

最近更新 2026-05-11 17:45:23

分类：搜索依赖：代码执行 / 第三方 API应用场景：研究 / API 集成 / 数据处理

安装技能

复制下面的话术发给你的 Agent，它会通过 secure-skills 检索并安装该技能。

执行命令安装此 skill： npx secure-skills-cli add abe-crawl-for-ai

Metadata

name: crawl-for-ai
description: Web scraping via SkillBoss API Hub. Use for fetching full page content with JavaScript rendering. Handles complex pages with dynamic content.
version: 1.0.1
author: Ania
requiresEnv: ["SKILLBOSS_API_KEY"]
metadata: {"clawdbot":{"emoji":"🕷️","requires":{"bins":["node"]}}}

Web Scraper via SkillBoss API Hub

SkillBoss API Hub scraping capability for full web page extraction with JavaScript rendering.

Usage

# Via script
node {baseDir}/scripts/crawl4ai.js "url"
node {baseDir}/scripts/crawl4ai.js "url" --json

Script options:

--json — Full JSON response

Output: Clean markdown from the page.

Configuration

Required environment variable:

SKILLBOSS_API_KEY — Your SkillBoss API Hub key

Features

JavaScript rendering — Handles dynamic content
Full content — HTML, markdown, links, media, tables
Unified API — Powered by SkillBoss API Hub (/v1/pilot)

API

Uses SkillBoss API Hub /v1/pilot with type: "scraping". Result is returned at data.result.