谁来校准做决策的人？被忽视的"人类置信度"

当你让一屋子经验丰富的人给一个艰难判断"打分"时，多数人给你的不是数字，而是一句话——"大概率""很可能""我相当有把握""毫无疑问"。这不是在回避，也不是刻意含糊。这只是在从来没有人要求你给判断打分的前提下，自信应有的样子。

这篇文章提出了一个被长期忽略的问题：我们对机器模型的置信度要求越来越严苛——要看背后的曲线、分箱、每个箱里的样本量、被排除的案例、测量日期。这些要求是对的，而且应该继续向每一家厂商提出。但这种要求只针对机器。而机器并不是出现在每一次决策里的那件"仪器"。

真正出现在每一次决策里的仪器，是你。却从来没有人要求你拿出那张图。

唯一出现在每次决策中的仪器

想想一个人一年里的那些艰难判断，有什么是恒定不变的。问题各不相同，可选项各不相同，受影响的人也各不相同。

如果你用了某种"裁判"（judge）系统，它每个问题被调用一次，且对你毫无记忆。这是特性——它返回一个带类型的判断，然后回去休眠——但这也意味着裁判无法积累任何关于你的判断力的信息。在最重要的那些问题上，它根本没有可参照的类别，因为这个案例从未发生过，概率所要查询的那个"总体"并不存在。而在那些你一生只会回答一次的问题上，结果只给你一个样本点，一个样本是房间里最弱的证据。

于是核算中出现了一个缺口，而且不小：流程的每一个部分都被测量了，唯独决定如何使用测量结果的那部分没有。那个在每次决策中都在场、在配置文件里设定数字、决定是否接受机器选择、最终签字的仪器——它背后没有任何曲线。

你的数字从未被绘制的三个结构性原因

这种缺失不是偶然，也不是性格缺陷，而是结构性的。

词汇本身没有判定规则。"大概率"无法被打分，"我有种好的预感""这是显而易见的选择"同样无法。要能被评分，一个主张必须命名一个事件和一个日期，而且命名要发生在事件之前。没有人教这件事，没有会议议程里有这一栏。于是话说出口，决策做出，却没有任何一个日后可以判定真伪的主张留存下来。

反馈来得太晚，而且会被事后改写。几个月过去，等结果出来时，做决策的人已经有了一套说法，而这套说法是用结果拼出来的。被拿去和结果对比的，是对当时信心的记忆，而不是信心本身。那个唯一能廉价创建可评分记录的时刻，是决策之前，而那恰恰是没人在看的时刻。

**没有买家来要这张图表。**厂商之所以被问到校准问题，是因为有人即将为模型付费。而签字的人没有对等的压力。签名下游没有人索要分箱和计数；就算有人索要，这个请求看起来也像是在审查这个人，而不是审查一件仪器——这是第三个、也是最尴尬的原因。

一个区间就是一个主张，而主张需要判定规则

修复这件事不需要改变性格，只需要两件产物和一个习惯。

第一件产物是一个数字，在结果已知之前陈述出来。不是带小数点的感觉，而是附在某个命名事件上的数字："七成概率我们在六月前达成产量目标""八成概率集成耗时少于六周""六成概率候选人会接受。"事件必须陈述得足够清楚，让一个陌生人也能靠日历和看板来判定。

第二件产物是判定结果。日期到了就标记：那个命名事件发生了吗？这就是打分的全部。注意，这和问"这个决策好不好"是不同的——一个好决策可能输，一个糟糕的流程可能赢，这两句话都无法被评分，但那个数字可以。

习惯则是台账。每次判断一行：问题、数字、陈述日期、命名事件、判定日期。然后做一次读取——每月或每季——把陈述过的数字按区间分组，对照实际发生的情况。这就是一个人的可靠性图。它的分箱在很长一段时间里都会很粗糙，这是诚实的；六个决策凑不成一条曲线，它们只凑成第一行。

一条诚实的机器曲线长什么样

当你看一条诚实曲线包含什么时，这个练习的价值立刻变得显而易见——而这正是本系列一直在向厂商索要的东西。

文中以 Decider 的自测结果为例：在 JudgeBench 上，620 次判断，公开披露了 6 次首轮失败。报告为 90% 及以上置信度的判断，正确率为 99.6%；80–90 区间为 94.0%；70–80 区间为 84.1%；低于 70% 的判断正确率为 67.7%。原始准确率为 92.5%，对比纯直接基线的 92.2%——这是一个平局，而它被如实报告为平局。在 ContextualJudgeBench 上，按官方成对协议自测（一对只有在两种呈现顺序都判断正确时才算正确，这也是随机下限为 25% 而非 50% 的原因），一致准确率为 67.1%，对比官方参考值 65.4%，并在结果旁标注了因平台反复失败而排除的 12 个顺序。

把这读作形状而非记分牌。最高区间近乎完美，因此作为区分器几乎无用：一个对所有东西都报 90%、也确实有 90% 对的裁判，产出的是一个常数，而常数无法区分两个案例。信息活在中段和底部，在那里数字真正会移动——而最有价值的一行，是承认"这件仪器不知道"的那一行。

个人台账会在更小的尺度上产生同样的形状。它最有用的条目不会是那些你很确定的判断，而是六到八成区间里的那些——你的记录要么支持你的自信，要么悄悄地反驳它。

**校准（Calibration）**是置信度评估中的核心概念：如果一个判断者对100件事都说"我有七成把握"，而这100件事里恰好有70件真的发生了，这个判断者就是"校准良好"的。校准不等于准确率高——一个对所有事情都报95%置信度的系统，即便最终准确率达到95%，也可能在低难度问题上过度自信、在高难度问题上盲目乐观。真正有意义的校准图（reliability diagram）横轴是陈述的置信度区间，纵轴是该区间内事件的实际发生率，理想状态下这条曲线应当紧贴对角线。JudgeBench和ContextualJudgeBench是用于评估AI裁判模型判断质量的标准化基准测试集，前者侧重单次判断的准确性，后者通过双向呈现顺序来检验判断是否受到位置偏差影响——只有两种顺序都判断正确才算通过，因此随机基线从50%降至25%，这一设计显著提高了基准的辨别力。

失败模式：评审人，而不是评审仪器

有一种把这件事彻底搞砸的方式，值得点名，因为这是经理拿到台账后第一个想做的事。

一旦这些数字被喂进绩效考核，它们就不再是测量值。一个可能被用来对付你的陈述概率，会变成一种策略性声明：所有人都学会说"五成"，这是一个关于"什么都没有"的主张，因此永远不会错。台账于是沦为自我表演的练习，而房间里唯一诚实的仪器就此熄灭。校准和评价是对同一组数据的两种不同用途，一个在同一组数字上同时跑这两件事的系统，最终只会保留后者。

所以这门纪律有边界：台账是给你自己的，或者给一个与你交换读数的同僚的。它不是档案。保留它的理由不是"被评分会让你变得更好"，而是一个未被评分的数字根本不是知识。还有第二个更安静的理由：这份记录是唯一能让一次性决策被反复审视的对象。

这一失效模式在测量理论中被称为古德哈特定律（Goodhart's Law）：当一个测量指标变成目标时，它就不再是好的测量指标。校准台账的价值完全依赖于陈述者在记录时没有后顾之忧——一旦这些数字被纳入外部评价体系，理性的自我保护行为就会系统性地污染数据。类似的困境在医疗、司法等高风险领域反复出现：要求医生公开预测手术成功率，起初是为了改善决策质量，最终却演变为医生选择性回避高风险病例的动机。这并非道德问题，而是激励结构的必然结果。因此，将校准数据与任何形式的奖惩脱钩，不是为了保护个人，而是保护数据本身的有效性——这是让台账作为认知工具而非表演工具存活下去的先决条件。

慢速一端欠台账什么

作者坦言自己构建的是这个领域里"耗时数分钟"的那一端，所以偏见要先声明。但相关的要点不是"慢裁判更明智"，而是：一个返回选择、校准置信度和书面论证的裁判，给你的台账提供了可以自我校验的参照。

同一个问题上的两个数字——你的和机器的——比任何一个单独存在都更有信息量。当你和一份书面论证产生分歧时，你有了一个具体可反驳的东西，而不是一个让你心生怨气的裁决。而当机器在你笃定的问题上报出低区间时，这个缺口本身就是一条记录：两件仪器中有一件在这个问题上错了，而台账是你日后不依赖记忆、找出究竟是哪一件错了的方式。

这才是问责一端真正的分工：机器提供一个被测量的数字和一个可供反驳的论证；你提供判定、记录和签名。这两样都不是性格特质，而且都可以被绘制成图。

被遗漏未测量的那件仪器，从来都不是模型。