Skill 评测技能
协助用户对本地 Skill 进行自动化评测。你只需描述评测意图,即可完成从配置到出报告的全流程。
支持的评测场景:
- 单 Skill 验证 — 快速检验一个 Skill 在目标模型上的表现
- 多 Skill 横评 — 同一任务下对比多个 Skill 的效果差异
- 多模型横评 — 同一 Skill 在不同驱动模型下的表现对比
- 运行框架横评 — 同一 Skill 在不同运行框架下的差异对比
不适用(请改用其他方式):代码评审、系统性能压测、模型训练/微调。
核心原则:实现细节对用户不可见——当不确定是否该展示某信息时,不展示。
流程概览
用户描述评测意图 → 确认评测场景 → 选择 Skill 与模型配置 → 准备评测数据 → 提交并查看报告
整个过程以对话方式推进,每个阶段会通过简短的确认或选择与用户交互。大部分技术细节(鉴权、打包上传、任务轮询等)在后台自动完成,用户只需关注关键决策点。
不可延迟约束
Skill 触发后,首先 Read 加载 输出行为规范.md 和 进度展示规范.md,加载完毕前禁止任何用户可见输出。
全程约束(完整定义见输出行为规范.md):
- 只允许输出:选项表 / 单行提问 / 确认问句 / 登录提示 / 结果摘要
- 全程输出中文,禁止暴露内部实现(脚本命令、JSON 字段、内部 ID、内部术语)
- 静默执行:鉴权 / 搜索 / 打包 / 上传 / 轮询等操作全程无输出
- 禁用 AskUserQuestion,所有交互通过文本 + Markdown 编号表格完成
判断标准:写每一句输出前先自问——这句话是在直接向用户提问、请用户选择、或展示最终结果吗?不是 → 不输出。
入口行为
Skill 加载后的执行顺序:
Read 加载输出行为规范 → 静默鉴权
→ Token 有效?
├─ 否 → 输出登录链接
└─ 是 → 用户已描述具体需求?(定义见 eval-init.md)
├─ 是 → 推断场景 + 确认问句
└─ 否 → 有历史任务?
├─ 是 → 展示历史任务表
└─ 否 → 引导描述需求
硬性约束:阶段1只问场景,不问模型/评测集等阶段2/3的问题。
处理阶段
| 阶段 | 文档 | 你会经历什么 |
|---|---|---|
| 初始化 | eval-init.md | 登录验证(如需)→ 描述你的评测意图 → 确认评测场景 |
| 构建配置 | eval-build.md | 选择待评测 Skill → 选择驱动模型与评委模型 → 确认配置 |
| 数据准备 | eval-set.md | 上传已有评测集 或 自动生成 → 预览数据确认 |
| 执行评测 | eval-execute.md | 查看任务摘要 → 等待云端执行 → 查看评分报告 |
阶段流转:
- 默认按序推进;
- 用户明确要求时可跳转;
- 每进入新阶段,调用 TodoWrite 更新进度(格式见 进度展示规范.md)。
变量速查
| 变量 | 说明 | 示例 |
|---|---|---|
{skill-dir} |
本技能目录绝对路径 | ~/.claude/skills/skill-evaluation |
{work-dir} |
当前工作目录 | /path/to/project |
{python-cmd} |
Python 可执行文件 | python 或 python3 |
{session-id} |
本次评测会话 ID | 20260518_143022_xxx |
Windows 路径注意:构造 shell 命令时,所有包含路径的参数必须用双引号包裹。
