SRE 巡检能力自检
把用户的问题转成一次范围明确的评价:做对了什么、哪些还无法判断、补什么证据能继续。 本目录自包含,可整体复制分发,无需安装完整评价平台。
从用户已有材料开始
先从对话和已授权可读的材料中提取三件事,不让用户先填指标编号、JSON或整套契约:
- 评什么:哪个工具/版本、哪类任务、哪些对象和时间范围。
- 有什么:现成输入、输出、计划或日志的位置。
- 怎样知道正确:独立期望、确定规则、已确认事件、根因或验收要求。
已提供的信息直接复用。只有缺失信息会改变范围、计算或权限时才集中询问;能独立推进的部分先完成。没有材料时先交付任务对应的最小数据清单,不预填成绩。用户只要求检查设计时,交付可测性与证据缺口,不假装实际运行过系统。
从任务入口与最小材料选择对应任务,只读相关行;用日常语言说明选了哪些判据。通常一轮3~5项,组合任务可更多;必需责任即使缺数据也保留为未测/尚不可测,不为缩短报告而删除。默认离线读取现有工件;实际执行、访问或写入仅限用户已授权范围,数据或许可缺失不自动触发生产扫描、故障注入或额外安装。
迭代摸底可选快速模式:以检查正确、运行完成、证据支持三项及三条底线起步,先核对目标路径的数据是否实际可用;任务特有责任仍登记。时间盒由使用者约定(无已验证用时,不作达标承诺)。预算用尽时交付已得结果与未测项。
先形成最小评价,再展开细节
- 确认范围与判据:简述对象/版本、任务/对象清单、输入/环境、时间/权限、人工责任、独立期望和评价目的。复用已有契约;新评价在运行前固定必要规则与案例。历史材料只作回溯评价,不声称事前冻结。判据可以是明确规格、共同基线或已有阈值,无需为每项发明百分比。
- 检查能评到哪里:按所选任务列出必需材料、已有证据、缺口及影响。缺少运行起止不能补造时延;只有告警没有应检清单不能算全量召回。依现有契约处理资格与输入缺陷;未约定的排除条件不能在看成绩后补设。缺什么、影响哪个结论、下一步怎样取得,写在同一行。
- 计算与核对:只读取指标口径中的入选项,保留原始计数、单位、案例ID/来源和失败。有抽样、未知标签或发现组时,再读证据规则对应部分。比例给x/n,n=0为N/A;未完成、漏跑和被测责任内输入失败不能从分母移除。事实缺失时保留证据不足,先交付能成立的部分。
- 交付可读结果:使用报告模板的简版。先给范围内结论,再给指标结果、底线、证据缺口和具体下一步。原始数据用路径/ID引用,不复制整份日志;机器摘要和完整审计附录按需要提供。
若需要自检评价成本,记录实际阅读、数据准备、计算、求助与返工时间;未记录写未测,不把脚本耗时当人工耗时。复算已有工件与独立建立新评价分别说明。
计算和声明必须保留的边界
- 报告标注“建设者自评,未经独立复核”;自评中的逐例满足要求不构成独立验收或总体达标。只给分项结果,不输出加权总分。
- 真值须独立于候选结论。无独立真值时不输出正式精确率/召回率;如仍分析自标结果,按自评审核规程逐组留证据、否证尝试及
reviewer=self,与独立结果分列。未知标签区间不等于置信区间。 - 正常输出进入检查正确率,不进入异常发现精确率;缺数据不能判健康。独立期望为UNKNOWN时,候选正确输出UNKNOWN可算检查正确。
- 有效时间须同时满足内容、证据可用和交付条件;不以初稿时间或源数据历史时间替代。已知失败保留,不因其他证据缺失而掩盖。
- 确认越权/泄露/绕过、业务定义的严重漏检和扰动超预算分别报告,不能由其他成绩抵消;未观测到不等于已经证明安全。
- 明确规格或基线可以支持有限范围判断;无事前判据时只报告描述性结果与限制,不事后设门槛宣称通过。有限案例不外推总体,软件复算不冒称独立人员复核。
按任务加载参考
| 遇到什么问题 | 读取哪里 |
|---|---|
| 首次接入、选择指标、需要哪些数据 | task-recipes.md,只看相应任务及示例 |
| 计算公式、单位和缺失处理 | scope-and-metrics.md,只看入选指标 |
| 真值不完整、准备度、预测、处置、输入泄漏 | evidence-and-truth.md对应章节;预测必须读§3、处置必须读§4 |
| 找独立真值、选择有限审核样本或决定能否外推 | sampling-guide.md,先确定证据源,再确定抽样框与预算 |
| 疑难边界、证据支持或建议适用性 | adjudication-cases.md对应判例,不要求每次抄录全部19条 |
| 生成报告或机器摘要 | report-template.md,默认简版 |
| 复查指标单位、清单缺失或修订分析 | report-consistency.md,按需选择检查,保留原执行与分析版本 |
使用自标分析时在报告保留否证尝试或具体缺口;缺记录显示“否证尝试未记录”,不生成已完成审核的声明。已有JSON机器摘要可运行scripts/check-report.py检查记录缺失;该工具只核对材料结构,不验证证据真假或自动判业务达标。
需要机器核对报告时,另用scripts/check-consistency.py检查指标编号、简单比例的单位/计数及分母声明;可选核对预期检查清单和重分析追溯。FAIL=0不等于全部PASS;UNKNOWN、N/A和缺输出分别保留,输出状态不代替独立正确性判定。修订分析不覆盖原结果,原执行状态与新分析结论分别说明。两个检查器均是辅助核对工具,不是验收替代:只查结构与声明一致性,不验证证据真实性或业务达标,未选检查及人工审核项须保留。
来源与版本边界
本次为Skill外部反馈响应修订v0.5(2026-10-18,首份外部使用反馈四项处置),依据仍为evaluation-spec-v1.0-rc1:主设计v2.3、字典v0.7、真值协议v0.5,32族46项指标,冻结提交2b821a0e39afc3beab10220d70dfc54ee4f45af5。源仓库发布清单为doc/releases/evaluation-spec-v1.0-rc1.json;复制本目录后无需该仓库路径即可使用参考口径。
本次调整入口、信息展开和报告负担,不发布rc2,不把输入资格修订提案冒充已生效规则。公开数据实验与建设者演练仅支持有限可执行性;独立使用者成本及生产适用性仍未证实。不要宣称本Skill或其报告获得权威认证。
