ArcKit确定性评分机制:YAML评分细则如何把主观印象变成可审计证据
2026/9/20 22:52:41 网站建设 项目流程

ArcKit确定性评分机制:YAML评分细则如何把主观印象变成可审计证据

【免费下载链接】arc-kitThe Enterprise Architecture Governance Harness — strategy, architecture, delivery, and assurance using AI coding assistants项目地址: https://gitcode.com/GitHub_Trending/ar/arc-kit

ArcKit 的确定性评分机制是这套企业架构治理工具包最有价值的设计之一。它用一份 YAML 评分细则(scoring rubric)明确规定"什么证据值得多少分",再配合写前校验钩子,让 AI 助手给出的每一个分数都可复现、可追溯、可审计——从"我觉得这个方案很好"变成"这项证据命中了 6 项安全信号中的 6 项,得分 100"。

为什么 AI 打分容易"注水"?

如果你让 AI 助手给云产品打五星评级,大概率会遇到这个尴尬场景:

支柱评级备注
安全⭐⭐⭐⭐⭐架构优秀
可靠性⭐⭐⭐⭐⭐表现良好

问题在于——没有人定义过"五颗星"的获得标准。一个真正具备客户托管密钥、私有网络和审计日志的服务,与一个只是"模型当时心情好"的服务,看起来都是五颗星。这类表格最终普遍漂向满分,失去比较价值。

ArcKit 在 cloud-research-generic.yaml 的注释里说得很直白:当评级标准只靠感觉,表格就成了"装饰品"。

核心设计:一份 YAML 就是完整评分法

ArcKit 的做法是把评分规则外置成数据,而不是藏在提示词里。每个细则文件包含三块内容:

① 维度权重:谁占大头一目了然

以云研究细则为例,六大维度直接对齐 AWS Well-Architected 框架:

维度权重
安全 security25
可靠性 reliability20
卓越运营15
性能效率15
成本优化15
可持续性10

权重写在 YAML 文件 里,任何人(或任何审计者)都能复核"为什么安全比可持续性更重"。

② 评分方法:每类证据都有算法

细则为每个维度指定了明确的打分方法(method),常见四种:

  • 信号覆盖(signal_coverage):列出 6 项预期的架构信号(静态加密、传输加密、IAM 集成、私有网络、审计日志、客户托管密钥),命中多少比例得多少分;
  • 分档(band):数值落入哪个区间就拿哪个分,比如 SLA 可用性 ≥99.99% 得 100 分,99.9%~99.98% 得 85 分;
  • 映射(map):生命周期状态直接查表——GA 得 100,Beta 得 25,已弃用得 5;
  • 组合(composite):多个子项按各自权重加权求和,比如可靠性 = 弹性信号 ×0.5 + SLA ×0.3 + 生命周期 ×0.2。

还有一处很见功力的设计:合规下限(compliance_floor)。如果一份方案完全没有公开的合规计划证据,安全分最高只能到 60——因为公共部门采购方无法依赖一份"没发表的保证",无论架构画得多漂亮。

③ 同一份细则覆盖多云

由于 AWS、Azure、Google Cloud 的框架高度同构,这一份细则同时服务三家云厂商的 aws-research、azure-research 和 gcp-research 命令,schemas 目录 下共收录了 12 份细则,覆盖云研究、供应商研究、政府代码搜索、授标评估等场景(还分有uk-gov英国政府场景变体)。

钩子守门:写文件之前先"体检"

细则负责"怎么算分",还有一道防线负责"分数必须诚实"。ArcKit 通过 PreToolUse 钩子 score-validator.mjs 在每次写入评分记录scores.json之前自动校验:

校验项规则
分数范围必须是 0~3
权重总和必须约等于 1.0(容差 0.01)
证据字段强制必填,无证据不许给分
准则 ID引用的每条准则必须真实存在

供应商评分遵循 0~3 四级标准(见 score 评分指南):

0不满足 →1部分满足 →2满足 →3超出预期

其中最关键的一条是:没有证据引用,就不允许给出分数。AI 不能"凭印象"打分,每一条得分都必须指向供应商提案中的具体原文。

从打分到审计:证据链完整闭环

有了确定性细则和校验钩子,一次采购评估就能走出完整证据链:

  1. /arckit:evaluate—— 建立带权重的评估准则;
  2. /arckit:score vendor—— 逐条给分,每条分数附证据引用
  3. /arckit:score compare—— 生成加权总分对比,并附敏感性分析(权重 ±10% 时排名是否翻转);
  4. /arckit:score audit—— 输出评分审计轨迹:谁、何时、对谁、打了多少分。

评分结果以结构化 JSON 持久化在项目目录下,可以直接提交进版本库——这意味着任何供应商如果对落选提出异议,评估团队拿出的不是"我们觉得",而是逐条可复核的证据链

这套机制还有一个真实的"翻车修复"案例:欧盟云主权框架(EU CSF)的评分公式早期只写了符号,却没有定义"分怎么算",导致对同一份证据跑两次可能得到两个分数。后来项目用确定性脚本 csf-score.mjs 直接实现了官方计算器(catalogue 数据)的逐条定义,连"满分响应会得 100.0756% 而非 100%"这种框架自身行为都如实报告、绝不擅自修圆——这正是"可审计证据"应有的姿态。

小结:确定性不是限制 AI,而是解放 AI

ArcKit 的确定性评分机制给所有做 AI 治理工具的团队一个清晰示范:

  • 规则外置:评分标准写成 YAML 数据,改标准不需要改代码,也能被人类直接审阅;
  • 算法明确:每一分都能说清"由哪些证据、按什么方法算出";
  • 校验兜底:写前钩子强制证据必填、范围合法,杜绝静默注水;
  • 闭环可查:对比、敏感性、审计轨迹一应俱全。

下次你的 AI 助手给出一个"85 分"时,你可以追问一句:"依据哪条细则的哪个信号?"——在 ArcKit 里,这个问题永远有确定答案。🎯

【免费下载链接】arc-kitThe Enterprise Architecture Governance Harness — strategy, architecture, delivery, and assurance using AI coding assistants项目地址: https://gitcode.com/GitHub_Trending/ar/arc-kit

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询