ai-evals-course

对 LLM 输出数据集进行聚类抽样、构建本地审阅界面并收集失败模式标注。

设计二分类 LLM-as-Judge 评审提示词，用于主观失败模式评测。

校准 LLM 评判器，用 TPR/TNR 和偏差校正验证其与人工标签的一致性。

评估工作流入口，根据用户情况路由到专用评估 Skill。

按维度元组生成 LLM 管线合成测试数据，并提示分层采样真实查询。

审计 LLM 评估流水线，按影响排序找出问题并给出修复建议。