你用得到你的skill吗
何时使用
仅在用户明确要求审计、盘点或整理已安装的智能体技能时使用,例如查看哪些技能常用、哪些功能重复、哪些可能已经没有保留价值。 不要把它用于普通代码审查、安全审计或人员能力评估,也不要在日常任务中自行触发。
基本边界
- 只生成报告和建议,不自动删除、合并、隔离、停用或改写任何技能。
delete、merge-delete、quarantine-review等结果都需要人工复核。- 只有目录结构而没有使用记录时,不能据此决定删除技能。
- 不自动回放历史对话,只读取用户提供的历史记录、消融结果或其他证据文件。
- API 类和工具类技能主要提供外部能力,不能用“假装没有工具”的方式做消融;按评分规则中的能力保护分支处理。
审计顺序
- 优先读取用户指定的技能目录,没有指定时再检查当前宿主的默认目录。
- 按现有情况加载使用记录、历史记录、消融结果和社区数据;缺少某类证据时不要补造。
- 检查每个
SKILL.md及其脚本、参考文件、资源文件和重复安装情况。 - 由脚本将技能分为 API 类(
api)、工具类(tool)或通用类(general)并计算分数;仅在核对或解释分数、结论、动作建议时读取{baseDir}/references/scoring-rubric.md。 - 先输出自然语言短报告;需要留存证据时,在同一次运行中写出完整 Markdown 文档。
运行
python "{baseDir}/scripts/skill_usefulness_audit.py" audit \
--report-language zh-CN \
--markdown-out ./skill-audit-report.md
可按实际情况补充:
--skills-root:用户指定的技能目录,可重复传入。--usage-file:JSON、JSONL、CSV 或 TSV 使用记录。--history-file:直接使用记录不足时才读取的历史对话;提及不算直接调用。--ablation-file:规范化的技能启用/停用对照结果。--community-file:离线社区或商店数据。--ablation-plan-out:仅为少量临界的general技能生成消融计划;生成计划本身不需要读取消融协议。--json-out:仅在用户明确需要 JSON 或其他工具需要结构化数据时使用。
本中文包的报告语言固定为简体中文。--report-language 只接受 zh-CN,不提供英语或自动语言模式。
使用记录和历史文件可能包含对话、路径、项目名或客户信息,只读取完成本次审计所需的文件。 缺少环境变量只表示当前审计进程没有配置,不能直接判定技能在所有宿主中都不可用。
输出要求
一次运行同时生成两层结果,不要让用户先选“精简版”或“完整版”。
标准输出是自然语言短报告。第一段写明本次审计的技能数量,以及入口描述合计字符数和约合词元(token);随后先说明哪些是常用技能、哪些证据不足、哪些值得进一步复核。短报告中不展示分数、内部动作代码、风险标签或表格。
提供 --markdown-out 时,在同一次运行中保存完整 Markdown 证据,其中可包含评分、缺失证据、功能重叠、维护负担和静态提示。除非用户要求,不要把完整 Markdown 或原始 JSON 直接贴进对话。
按脚本输出原样交付短报告,只可把证据路径改成可点击链接。仅当另一个智能体或宿主需要转交已经生成的报告时,才读取 {baseDir}/references/report-narration-prompt.md。使用干净中文,技能名、路径和命令可保留原文。
JSON 字段和评分逻辑以脚本输出为准;只有使用 --ablation-plan-out 时才包含 ablation_plan。
按需读取
{baseDir}/references/scoring-rubric.md:仅在核对或解释分数、结论、动作建议时读取。{baseDir}/references/ablation-protocol.md:仅在实际回放、整理规范化消融记录,或复核结果不一致和删除边界时读取;生成消融计划本身不需要读取。{baseDir}/references/report-narration-prompt.md:仅在另一个智能体或宿主需要转交已经生成的报告时读取。{baseDir}/scripts/skill_usefulness_audit.py:审计命令入口。{baseDir}/scripts/skill_usefulness_audit_lib/:数据读取、评分、静态检查和报告生成。
