LLM 评测工具链
能直接跑的 LLM 评测引擎：建评测集、测幻觉、算 RAG 指标、对比回归、出报告卡门禁。与「LLM 质量评测」skill（方法论）配套——那个讲"怎么做"，这个给"能跑的实现"。
什么时候用这个技能
- 建评测集：「评测集怎么建？帮我生成 JSONL 模板？」
- 测幻觉：「这批回答里有没有幻觉？」
- 算 RAG 指标：「RAG 系统忠实度/召回怎么算？」
- 回归对比：「新 Prompt/模型比基线好还是差？」
- 卡门禁：「质量达标了吗？能上线吗？」
怎么用（两种模式）
模式一：直接问（推荐）
「评测集 JSONL 格式怎么组织？」 「怎么检测回答里的幻觉？」 「RAG 四指标本地怎么算？」
模式二：本地工具（可运行引擎）
# ① 评测集管理：初始化/质量检查/规模统计
python tools/eval_toolkit.py dataset --action init --out evalset.jsonl
python tools/eval_toolkit.py dataset --action check --file evalset.jsonl
python tools/eval_toolkit.py dataset --action stat --file evalset.jsonl
# ② 幻觉检测：对回答跑四类规则检测
python tools/eval_toolkit.py hallucination --answer "该产品2025年销量100万台" --source "2026年报告显示销量50万台"
# ③ RAG 指标计算（RAGAS 简化实现）
python tools/eval_toolkit.py ragscore --answer "..." --context "..." --question "..."
# ④ 回归对比：基线 vs 新结果
python tools/eval_toolkit.py compare --base baseline.json --new result.json
# ⑤ 报告与门禁
python tools/eval_toolkit.py report --result result.json --gate 0.05
# 查看全部命令
python tools/eval_toolkit.py --help
知识库导航（references/）
| 模块 | 文件 | 解决什么问题 |
|---|---|---|
| ① 工具链全景 | references/01-工具链全景.md |
五个引擎、数据流、与方法论 skill 的关系 |
| ② 评测集管理 | references/02-评测集管理.md |
JSONL 格式、字段规范、质量检查 |
| ③ 幻觉检测引擎 | references/03-幻觉检测引擎.md |
四类规则检测器原理与局限 |
| ④ RAG 指标计算 | references/04-RAG指标计算.md |
RAGAS 简化实现原理与口径 |
| ⑤ 回归对比 | references/05-回归对比.md |
基线管理、差异判定、防假回归 |
| ⑥ 报告与门禁 | references/06-报告与门禁.md |
报告结构、门禁规则、与 CI 集成 |
| ⑦ 与平台工具衔接 | references/07-与平台工具衔接.md |
RAGAS/OpenAI Evals/LangSmith 对比与升级路径 |
| ⑧ FAQ | references/08-FAQ.md |
高频疑问 |
快速上手（三步）
- 建集：
dataset init出 JSONL 模板，02 模块看字段规范； - 测质量：
hallucination/ragscore跑检测与指标，03-04 模块看原理； - 卡门禁：
compare/report出对比与门禁，05-06 模块看规则。
能力边界（如实说明）
- 规则检测不是完美检测：本工具链的幻觉/RAG 指标是规则与启发式实现（零依赖），准确率不及 RAGAS/评估器等专业框架——适合快速基线、CI 门禁与教学演示；生产高要求场景按 07 模块升级到专业框架；
- 不调外部模型：LLM-as-Judge 类指标需自行接入 API（本工具提供接口规范，不内置调用）；
- 工具纯本地：不联网、不采集数据、不调用外部服务。
常见问题（FAQ）
- Q：这个工具链和 LLM 质量评测 skill 什么关系？ 方法论 vs 实现：那个讲指标怎么选、评测集怎么建（方法论），这个给能跑的代码（评测集管理/幻觉检测/RAG 指标/回归门禁）。配套使用。
- Q：规则检测靠谱吗？ 适合快速基线（检出率高、误报偏高需人工复核）；高要求场景升级 RAGAS 等专业框架（07 模块给了对照与路径）。
- Q：评测集格式是什么？ JSONL，每行一个用例：question/answer/context/reference/gold 等字段（02 模块有模板）。
- Q：工具脚本要装依赖吗？ 不需要，纯 Python 标准库，开箱即跑。
版权与许可
版权与许可：© 2026 注册老炮。本作品（含方法论、模板、法规整理与原创表达）依 MIT License 提供，详见 LICENSE.md。
知识版权声明：本作品汇集的 LLM 评测工具实现、算法逻辑与原创表达，归 注册老炮 所有。未经许可，不得复制、转载、转售本作品全部或实质部分，不得用于任何模型训练或二次分发牟利。
免责声明：本作品按「现状」(AS IS) 提供，不作任何明示或暗示的担保，包括但不限于适销性、特定用途适用性与安全保证。使用者应自行核实并承担使用后果，作者不对因使用本作品产生的任何直接或间接损失负责。