Content Calibrator - 内容质量校准与预测闭环

版本: v1.0.0 创建日期: 2026-07-07 优先级: P1 (来源: FIX-17, 非赚钱链路核心, 从P0降为P1) 所属部门: 礼部（内容质量） 来源: 02手册§十一 W9 / 增强实施计划v2.1第3批 FIX-06/07 依赖: published-track (发布记录+数据采集统一入口) Cron频率: 每周一次 (周一09:00, FIX-06降频) 评分模型: sensenova-6.7-flash-lite (免费, 来源:.env SENSENOVA_API_KEY) 复盘模型: deepseek-v4-flash (来源:.env SENSENOVA_BASE_URL, 通过sensenova渠道)

使用场景

核心价值: 通过"评分→预测→复盘→进化"闭环,持续提升内容质量评估准确度。按平台独立维护rubric,适配不同平台的内容特征。

FIX-06降频方案: 原方案7维评分×多平台盲预测单评估周期消耗~140K Token。修订为每周一次批量处理,评分使用免费模型(sensenova-6.7-flash-lite),复盘使用deepseek-v4-flash。

FIX-07变通方案: 盲预测不使用sessions_spawn(会读对话历史),改为exec脚本直调LLM,硬禁读对话历史,只喂稿件+rubric_notes。

工作流

1. 内容评分（score）

输入: content(文本), platform(平台), rubric_version(版本,可选)

执行:

python skills/content-calibrator/scripts/calibrate_score.py \
  --content "今天分享一个提高效率的小技巧..." \
  --platform douyin \
  --rubric-version v1

处理: 调用sensenova-6.7-flash-lite对7个维度各打0-10分,计算综合分

7维度定义(来源:02手册§十一W9):

综合分公式: composite = (ER×1.5 + HP×1.5 + SR×1.5 + QL + NA + AB + PV) / 8.5 × 2.0

2. 盲预测（predict）

输入: content(文本), rubric_notes(评分标准备注)

执行:

python skills/content-calibrator/scripts/calibrate_predict.py \
  --content "今天分享一个提高效率的小技巧..." \
  --rubric-notes "douyin平台偏向情感共鸣和钩子强度"

处理: exec直调LLM(不读对话历史),仅基于稿件+rubric_notes预测互动表现

硬约束(FIX-07): 脚本内部构造独立prompt,不传入任何对话上下文/历史消息

3. T+3d复盘（review）

输入: prediction_id, actual_stats(实际数据), platform(平台,P2-07新增)

执行:

python skills/content-calibrator/scripts/calibrate_review.py \
  --prediction '{"predicted_views":500,"predicted_engagement":0.05}' \
  --actual '{"views":520,"likes":30,"comments":5}' \
  --platform douyin

处理: 对比预测vs实际,计算准确率和偏差,生成rubric更新建议。review记录保存platform和deviation供evolve使用(P2-07修复)

4. Rubric进化（evolve）

每周一Cron执行,基于本周所有复盘数据:

1. 聚合本周所有review记录
2. 分析哪些维度预测偏差最大
3. 更新对应平台的rubric评分标准
4. 写入 data/content-calibrator/rubrics/{platform}.json

执行:

python skills/content-calibrator/scripts/calibrate_evolve.py tnt_001 --days 7

处理: 聚合近N天review数据→按平台分组→计算各维度偏差比率→偏差超阈值(1.5)的维度调整权重(步长0.1,范围0.5-2.5)→原子写入rubric.json

P2-07修复(2026-07-12):

• 创建calibrate_evolve.py(之前缺失)
• calibrate_review.py添加--platform参数,review记录保存platform和deviation
• calibrate_score.py读取rubric.json动态权重(不再硬编码)
• 偏差映射: views偏差→HP/SR权重, engagement偏差→ER/QL权重

5. 按平台独立迭代

每个平台独立维护rubric文件:

data/content-calibrator/
├── rubrics/
│   ├── douyin.json       # 抖音评分标准
│   ├── xiaohongshu.json  # 小红书评分标准
│   ├── bilibili.json     # B站评分标准
│   └── ...
├── predictions/
│   └── {prediction_id}.json  # 预测记录
└── reviews/
    └── {prediction_id}.json  # 复盘记录

输入格式

{
  "mode": "score|predict|review",
  "content": "内容文本",
  "platform": "douyin",
  "rubric_version": "v1",
  "rubric_notes": "评分标准备注",
  "prediction": {"predicted_views": 500, "predicted_engagement": 0.05},
  "actual": {"views": 520, "likes": 30, "comments": 5}
}

输出格式

评分输出

{
  "success": true,
  "data": {
    "scores": {"ER": 8, "HP": 7, "SR": 6, "QL": 7, "NA": 8, "AB": 7, "PV": 9},
    "composite": 7.41,
    "threshold_pass": true,
    "suggestions": ["增强社会议题关联度", "增加金句密度"]
  },
  "error": null,
  "code": null
}

预测输出

{
  "success": true,
  "data": {
    "prediction": {"expected_views": "500-800", "expected_engagement": "3-5%"},
    "confidence": 0.75,
    "reasoning": "钩子强度中等,情感共鸣较高,预计互动率3-5%"
  },
  "error": null,
  "code": null
}

复盘输出

{
  "success": true,
  "data": {
    "accuracy": 0.85,
    "deviation": {"views": 4.0, "engagement": 1.2},
    "rubric_update_suggestions": ["ER权重应从1.5调整为1.3"]
  },
  "error": null,
  "code": null
}

异常处理

Cron配置

{
  "name": "content-calibrator-weekly",
  "schedule": "0 9 * * 1",
  "agent": "libu",
  "message": "执行content-calibrator周复盘: 1.采集上周所有平台发布内容数据 2.对每条内容执行T+3d复盘 3.聚合分析预测偏差 4.更新各平台rubric评分标准"
}

频率约束(FIX-06): 每周一次,非实时。周一09:00批量处理,避免高频Token消耗。

示例

评分示例

python skills/content-calibrator/scripts/calibrate_score.py \
  --content "在职场中,最可怕的不是能力不足,而是不知道自己不足。今天分享3个自我提升的方法..." \
  --platform zhihu

盲预测示例

python skills/content-calibrator/scripts/calibrate_predict.py \
  --content "在职场中,最可怕的不是能力不足..." \
  --rubric-notes "zhihu平台偏向深度内容和实用价值"

复盾示例

python skills/content-calibrator/scripts/calibrate_review.py \
  --prediction '{"predicted_views":"500-800","predicted_engagement":"3-5%"}' \
  --actual '{"views":620,"likes":45,"comments":8}'

历史记录