数据源评估与采集器
产品开发全链路 Skill #6 · 数据是产品最深的壁垒
功能
评估产品所需的数据源，设计采集策略，判断数据壁垒的可复制性。
核心工作流
Step 1：数据需求梳理
明确产品需要哪些数据：
| 数据类别 | 具体内容 | 用途 | 优先级 |
|---|---|---|---|
| 基础数据 | 产品正常运行所需的核心数据 | 功能实现 | P0 |
| 增强数据 | 提升产品体验的辅助数据 | 差异化 | P1 |
| 壁垒数据 | 构建竞争壁垒的独有数据 | 护城河 | P2 |
Step 2：数据源评估
对每个数据需求，评估以下维度：
| 数据源 | 可得性 | 质量 | 成本 | 合规性 | 综合评分 |
|---|---|---|---|---|---|
| 公开API | 高 | 中 | 免费 | 高 | 推荐 |
| 网页爬虫 | 中 | 中 | 低 | 中 | 有条件 |
| 第三方购买 | 高 | 高 | 高 | 高 | 预算充足 |
| UGC | 低 | 中 | 低 | 高 | 长期 |
| 人工采集 | 中 | 高 | 高 | 高 | 短期 |
Step 3：采集方案设计
自动采集：
- API 接入（官方文档、认证方式、限流策略）
- 爬虫方案（技术选型、频率控制、反爬绕过）
- 数据清洗（去重、格式化、质量校验）
人工采集：
- 采集流程（从哪找、怎么存、怎么验）
- 效率基准（每天能采多少条）
- 质量检查（人工抽检比例）
UGC 采集：
- 激励机制（积分/荣誉/金钱）
- 质量把控（审核机制、评分机制）
- 反作弊（虚假数据检测）
Step 4：数据壁垒评估
| 数据资产 | 采集难度 | 竞品复制时间 | 维护成本 | 壁垒强度 |
|---|---|---|---|---|
| 数据A | 高 | 12个月 | 中 | 强 |
| 数据B | 中 | 3个月 | 低 | 弱 |
输出格式
- 最终交付物：Markdown 数据策略文档
- 命名规范：
{产品名}-数据策略.md
硬约束
- 必须评估数据合规性，不能建议非法采集
- 必须标注数据来源的可靠性
- 如果建议爬虫，必须说明反爬策略和替代方案
- 人工采集方案必须给出效率预估