360 Secure SkillHub
360 安全技能中心

Kekik Crawler

基于 Scrapling 的无浏览器网页爬虫,支持通过搜索引擎查询词或直接给定 URL 抓取,内置 person-research、deep-research 等预设,具备断点续爬、并发控制和 robots 处理,结果以 JSONL 保存并可生成 JSON 报告。

keyiflerolsun
keyiflerolsun
热度 79.79
最近更新 2026-05-17 12:50:18
分类:搜索依赖:代码执行 / 第三方 API / 读写文件应用场景:研究 / 数据处理 / 自动化脚本

安装技能

复制下面的话术发给你的 Agent,它会通过 secure-skills 检索并安装该技能。

执行命令安装此 skill: npx secure-skills-cli add kekik-crawler
Metadata
name
kekik-crawler
description
Scrapling-only, deterministic web crawler with clean SRP architecture, presets, checkpointing, and JSONL/report outputs.

Kekik Crawler

Scrapling tabanlı, browser'sız crawler.

Quick Start

pip install -r requirements.txt
python main.py --urls https://example.org

Presets

python main.py --queries "Ömer Faruk Sancak" keyiflerolsun --preset person-research --out outputs/person.jsonl --report outputs/person-report.json
python main.py --queries "Ömer Faruk Sancak" keyiflerolsun --preset deep-research --out outputs/deep.jsonl --report outputs/deep-report.json

Notes

  • Output files are under outputs/
  • Main entrypoint: main.py
  • Orchestration: core/crawl_runner.py