360 Secure SkillHub
360 安全技能中心

抖音搜索爬虫

该工具基于Playwright自动化浏览器,核心功能包括按关键词搜索抖音爆款视频、获取全品类或分类热榜,可提取视频标题、播放量、评论数等多维度信息,支持JSON/CSV格式导出。典型场景如查找海鲜、小龙虾等品类爆款视频、查看美食分类热榜,用户通过自然语言指令触发操作,输出结构化数据或对应文件,使用需遵守平台规则防范风控。

terrycarter1985
terrycarter1985
热度 48.40
最近更新 2026-05-31 12:56:35
分类:自动化依赖:代码执行 / 联网浏览搜索 / 读写文件应用场景:数据处理 / 自动化脚本

安装技能

复制下面的话术发给你的 Agent,它会通过 secure-skills 检索并安装该技能。

执行命令安装此 skill: npx secure-skills-cli add douyin-search-scraper
Metadata
name
douyin-scraper
description
爬取抖音爆款视频和文案数据,使用 Playwright 自动化浏览器操作,支持搜索关键词、获取热榜、提取视频信息和文案等功能。

抖音爆款爬虫 Skill

使用 Playwright 自动化浏览器操作,爬取抖音爆款视频和文案数据。

Agent 调用指引

当用户用自然语言请求抖音相关操作时,直接执行对应命令,不需要再确认。

用户意图 命令
搜索海鲜视频 python scripts/scraper.py search --keyword "海鲜" --limit 10
搜一下小龙虾 python scripts/scraper.py search --keyword "小龙虾" --limit 10
看看热榜 python scripts/scraper.py hot --limit 20
美食热榜 python scripts/scraper.py hot --category "美食" --limit 20
搜索并保存 python scripts/scraper.py search --keyword "海鲜" --limit 15 --output seafood.json

自然语言匹配规则

  1. 搜索类 — 用户说"搜索/搜一下/找/看看 + 关键词"→ search --keyword "<关键词>"
  2. 热榜类 — 用户说"热榜/热搜/热门/排行榜"→ hot
  3. 分类热榜 — 用户说"XX热榜"→ hot --category "<分类>"
  4. 保存结果 — 用户提到"保存/导出/下载结果"→ 加 --output <文件名>.json

工作目录: 命令在 skill 根目录下执行,即 cd /root/.openclaw/workspace/douyin-scraper && ...

功能特性

  • 🔍 关键词搜索 — 按关键词搜索抖音视频,解析真实搜索结果
  • 📊 热榜获取 — 获取抖音热榜数据
  • 📝 文案提取 — 提取视频标题、描述、标签等
  • 🎬 视频信息 — 获取播放量、点赞数、评论数等
  • 🔗 链接收集 — 收集视频链接用于后续下载
  • 💾 数据导出 — 支持 JSON / CSV 格式导出

依赖

需要 Playwright + Chromium:

pip install playwright
playwright install chromium

命令参考

搜索

python scripts/scraper.py search --keyword "海鲜" --limit 10
python scripts/scraper.py search -k "海鲜售卖" -n 15 -o seafood.json
python scripts/scraper.py search -k "小龙虾" -n 10 -f csv -o crayfish.csv

热榜

python scripts/scraper.py hot --limit 20
python scripts/scraper.py hot --category "美食" -n 20 -o food_hot.json

选项

选项 说明
--keyword, -k 搜索关键词
--limit, -n 结果数量 (默认 10/20)
--output, -o 输出文件路径
--format, -f 输出格式: json (默认), csv
--no-headless 显示浏览器窗口 (调试用)

输出格式

JSON

[
  {
    "title": "视频标题",
    "description": "视频描述",
    "author": "作者昵称",
    "play_count": 1000000,
    "like_count": 50000,
    "comment_count": 2000,
    "share_count": 1000,
    "url": "https://www.douyin.com/video/xxx",
    "tags": ["标签1", "标签2"],
    "publish_time": "2026-05-31"
  }
]

CSV

title,author,play_count,like_count,comment_count,url,tags
视频标题,作者昵称,1000000,50000,2000,https://...,标签1|标签2

注意事项

⚠️ 重要提示:

  1. 遵守平台规则 — 合理使用,避免频繁请求
  2. 请求间隔 — 默认 2 秒延时,可通过 --delay 调整
  3. 数据用途 — 仅供学习和研究
  4. 账号安全 — 不要登录账号,避免风控
  5. IP 限制 — 注意 IP 被封禁风险

故障排除

问题 解决方案
浏览器启动失败 playwright install chromium
页面加载超时 检查网络,尝试代理
找不到元素 抖音页面可能更新,需更新选择器
返回空结果 可能被风控,尝试降低频率或换 IP