把决策模型放进Agent循环，而不是放在旁边

构建一个Agent，然后追踪token的流向，你会发现一个令人意外的比例：大量消耗并非来自执行任务本身，而是Agent在反复问自己一些“小问题”。

被忽视的检查成本

每个小判断——这次工具调用安全吗？这份文档回答了问题吗？该转人工吗？输出格式对吗？上一步真的成功了吗？——本质上都只是一个是/否、单选或打分。但在当前的架构下，每一次判断都意味着一次完整的生成过程：输入prompt、输出推理、解析文本、祈祷格式没有跑偏。

当这类判断的频率达到每分钟上千次时，检查的成本会超过任务本身。于是团队开始做减法：关闭安全门、跳过检索相关性测试、让Agent在无保护状态下运行。他们并非认为这些检查不必要，而是因为太贵，养不起。

决策模型：不写字的模型

决策模型提供了一种不同形态的解法：给定情境和一个带类型的问题，它在一次前向传播中返回选项上的概率分布，无需生成任何文本。

覆盖Agent自问自答场景的三种基本形态：

形态	返回	循环中的用途
是/否	陈述成立的概率	安全门、重试决策、升级转人工
单选	每个选项的概率	路由、工具选择、分诊
打分	每个等级的概率	相关性、风险、置信度

无需解析，没有格式漂移，也不必等待推理token生成完毕。

带类型的问题（typed question） 指问题的答案被约束在预先定义的离散空间内，例如布尔值、固定选项集合或评分量表，而不是任意自然语言文本。这种约束让模型输出可以直接映射为概率分布：对每个候选答案计算一个概率值，总和为1。带类型问题的好处在于，它把"判断"从生成任务转化成分类/打分任务，输出空间小且封闭，因此单次前向传播即可得到全部候选的概率，无需自回归解码。实践中，"带类型"还意味着问题本身需要明确的语义边界——选项之间互斥且穷尽，否则概率分布会失去可解释性。这也是决策模型落地时最容易被低估的工程细节：问题设计不当，校准度再好的模型也无法给出可用的门控信号。

校准才是关键

仅有准确率无法支撑一道门。门需要阈值，阈值需要概率“说到做到”。

如果模型说0.9，而它十次里有九次是对的，你就可以把高于0.9的全部自动放行，其余转人工，并且能在上线前预测错误率。反之，如果模型平均准确率不错，但它的0.9可能意味着0.6到0.99之间的任何值，那么没有哪个阈值是安全的，你只能回到人工阅读输出的老路。

正因如此，决策类基准测试评的是校准度，而不只是命中率。是/否问题用Brier分数，选择题评正确选项上的概率质量，量表题用期望分数误差。一个模型完全可以霸榜准确率，却因为校准度差而无法用作门控。

Brier分数 是评估概率预测校准度的经典指标，定义为预测概率与真实结果（0或1）之间平方误差的均值，取值越低越好。对于是/否问题，若模型预测0.9而实际发生率为0.9，Brier分数接近理论下限；若模型频繁给出极端概率却频繁出错，Brier分数会显著升高。与准确率不同，Brier分数同时惩罚"方向错误"和"过度自信"，因此能揭示一个模型是否"说到做到"。选择题场景常用正确选项上的概率质量（probability mass）来衡量，量表题则用期望分数误差——即预测分布的期望值与真实等级之间的偏差。这些指标的共同逻辑是：决策模型的价值不在于猜对最多，而在于其输出的数字可以被当作真实概率来设定阈值。

实践中会发生什么变化

一旦检查变得廉价，你就可以做那些以前算不过账的检查：

• 对每一次工具调用设门，而不只是看起来危险的那些
• 对每一段检索内容打相关性分，而不是盲目信任top-k
• 每一步之后都问一句“这步成功了吗”，而不是等到最后才发现失败
• 每个决策都保留置信度数字，让升级规则基于阈值而非猜测

架构上的改动其实很小：决策模型作为一次函数调用，坐在循环内部，而不是作为另一个Agent坐在旁边。

如何看待公开榜单

决策模型目前已有公开排行榜可供参考，例如S1MB，覆盖197个模型、137个基准，采用排名聚合而非分数平均的方式排序。

比较条目时，需留意三点：引用的哪一列、数据读取日期、模型实际参与了多少个基准的评分。多数公开榜单混合了自报数字与验证数字。

这个品类已有开放权重选项，意味着你可以在自己的流量上先测试，再决定是否采购。合理的评估方式是：把自己的决策日志跑过候选模型，看它在目标阈值下概率是否站得住。

Borda分数 是一种基于排名的聚合方法：每个基准上对模型排名，再按排名位置赋分（如第一名得N分、第二名得N-1分），最后跨基准加总。与分数平均不同，Borda聚合不受各基准分数量纲差异的影响，也不要求所有模型参与全部基准。但它有两个需要留意的性质：其一，未参与某基准的模型在该基准上通常不计分，参与基准数少的模型可能因"分母小"而排名虚高；其二，排名聚合会掩盖绝对差距，两个模型Borda分数接近时，实际能力差异可能并不小。因此引用榜单时，除了注明列名和读取日期，还应确认模型实际参与评分的基准数量，避免把"参与少但排名高"误读为全面领先。

一个当前的参考点

如果想找一个具体模型来测试这套思路，S1MB英文v1榜单显示，Darwin-27B-ZTC-v9以90.38的Borda分数在137个基准、197个模型中排名第一（读取于2026年10月20日）。该模型采用Apache-2.0协议，你可以直接把自己的决策日志跑一遍，而不必听信榜单。

hf download FINAL-Bench/Darwin-27B-ZTC-v9 systemone_config.json --local-dir .
transformers serve FINAL-Bench/Darwin-27B-ZTC-v9 --decision-config systemone_config.json

同一榜单还发布了任务平均列，该模型以72.20位列第二。引用时请说明你指的是哪一列。