你的AI说95%确定？Calibration Court用哈希账本验证

当AI的"置信度"变成需要证明的承诺

AI模型随口说出"我有95%的把握"，这句话在今天几乎没有任何成本——错了也没人追溯，对了也没人记录。ScriptMaster Labs推出的Calibration Court想终结这种模糊状态：它把AI的每一次概率预测在结果揭晓前锁进哈希链账本，事后用Brier分数、对数损失和校准曲线给模型打分。

这不是又一个模型评测排行榜。它更像一个公开的记账系统，专门记录AI"说过什么"以及"说得准不准"。

预测上链：先锁证据，再开结果

Calibration Court的核心机制是预测先于结果、记录不可篡改：

• 每条预测在结果产生之前就被写入哈希链账本，时间戳和内容哈希共同固定了"当时说了什么"
• 每张回执附带Ed25519签名，任何人都可以独立验证真伪，无需信任平台本身
• 评分采用学界通用的Brier分数与对数损失，配合校准度指标，而非平台自创的模糊评级

这套设计的价值在于消解"事后诸葛亮"。模型不能因为看到结果再调整说法，开发者也不能挑好看的样本对外展示。账本公开且刻意从空开始，早期进入的记录就是创始档案。

Brier分数是评估概率预测准确性的经典指标，计算方式是所有预测的（预测概率 − 实际结果）² 的平均值，实际结果用1表示发生、0表示未发生。其取值范围在0到1之间，越低越好。Brier分数的优点在于同时惩罚“方向错误”和“过度自信”：当模型给出95%的预测却错了时，惩罚项为 (0.95 − 0)² = 0.9025；而给出60%却错了时，惩罚仅为0.36。对数损失（Log Loss）则对极端错误预测施加更严厉的惩罚，因为概率越接近0或1，错误时的对数值趋向负无穷，能进一步遏制模型“押注式”的自信输出。两者配合校准曲线——以预测概率为横轴、实际发生频率为纵轴，理想情况下应形成一条对角线——共同构成评估概率预测质量的铁三角。

每天25道题，答案来自公开价格数据

评测题目的设计直接决定了评分是否有意义。Calibration Court每天生成25道确定性题目，全部从公开价格数据中解析出结果——这意味着判定标准不依赖人工裁决，也不给主观解释留空间。

对AI智能体来说，接入通过MCP协议完成，模型或Agent可以直接把预测提交进账本。重新校准按次计费，使用Base链上的USDC，通过x402支付协议结算。这种支付设计把"调用校准服务"变成了Agent可以自主完成的经济行为，而不需要人类在每个环节手动确认。

说一下，这套机制目前只适用于能被公开数据判定的题目类型。对于开放式推理、创意生成或长期战略判断，确定性题目无法覆盖，这是该方法论的天然边界。

MCP协议（Model Context Protocol）是由Anthropic提出的一种开放协议，旨在标准化AI模型与外部工具、数据源之间的交互方式。它允许模型以统一接口发现和调用外部服务，类似于AI世界的“USB-C接口”。在Calibration Court的场景中，MCP让AI Agent能够直接向校准账本提交预测、查询评分结果，而无需为每个平台定制集成代码。x402支付协议则是一个基于HTTP 402状态码的链上支付标准，允许API在收到请求时直接发起小额加密货币支付请求。当Agent调用校准服务时，x402会触发一笔Base链上的USDC转账，服务确认收款后返回结果，整个过程无需人工介入或传统订阅账户，实现了“机器对机器”的按次计费闭环。

校准度为什么比准确率更难伪造

一个模型可以靠频繁给出50%的预测来回避极端错误，但校准度会暴露这种策略的问题。校准度衡量的是"当模型说70%时，实际发生频率是否接近70%"——这要求模型在大量预测上保持概率与现实的系统性一致，单次运气无法伪装。

Brier分数和对数损失则对过度自信施加惩罚。给出95%却错了的代价，远高于给出60%却错了。这套评分组合在气象预测和金融风险评估领域已有长期应用，搬到AI预测上并不新颖，但把它与不可篡改账本结合、并开放给外部Agent实时接入，是较少见的工程实践。

据发布方说明，平台不使用演示数据，也不提供历史回测——账本初始为空是刻意的设计选择，目的是让最早的记录成为可追溯的起点。

Ed25519签名是一种基于椭圆曲线的数字签名算法，以速度快、签名短（仅64字节）和安全性高著称，广泛用于SSH、TLS等场景。在Calibration Court中，每张预测回执都附带Ed25519签名，意味着任何人只需用对应的公钥即可验证该回执确实由声称的提交者发出、且内容未被篡改，而无需信任平台本身。哈希链（Hash Chain）则是一种简单的链式数据结构：每条记录包含前一条记录的哈希值，任何对历史记录的修改都会导致后续所有哈希值连锁变化，从而被立刻发现。这种轻量级结构不需要完整的区块链共识机制，却能提供“可验证不可篡改”的证据锚定效果，非常适合对单条预测进行时间戳固定和防篡改保护。

一个值得关注的评测思路

Calibration Court的局限同样明显：题目来源局限于价格数据，覆盖面窄；评分依赖模型主动接入，无法强制约束闭源商业模型；账本公开但参与者有限时，统计意义也有限。

不过它提出的问题值得认真对待：当AI系统被 increasingly 部署到需要量化风险判断的场景，模型自己报出的置信度是否可信，应该有独立、可验证的答案。把预测锁进账本、用学界标准打分、让任何人可以复核，这条路径至少把"证明给我看"变成了可执行的操作，而非一句口号。

对开发者而言，这意味着接入一个外部校准层来检验自家Agent的概率输出，可能比内部自评更有说服力。对使用者而言，看到模型在公开账本上的校准记录，比看到宣传页上的准确率数字更接近真相。