System One模型的校准与风险预算决策：LLM智能体二进制判断的新框架

LLM工作流和智能体在日常运行中依赖大量二进制决策：允许还是拦截一条输入、保留还是丢弃一篇检索文档。当这些系统没有"转交人工"的选项时，即使面对不确定的情况也必须给出一个动作——而传统的概率接口在这里暴露出了根本性的不足。

概率分数不等于部署决策

大多数LLM应用在需要做二值判断时，习惯直接取模型输出的概率分数，再配一个固定的阈值（比如0.5或0.9）来划出动作边界。这个做法的问题在于：模型输出的"概率"往往只是经过校准的表观置信度，它反映的是训练分布下的统计规律，而非当前具体输入上的实际错误率。

论文的核心论点正是：依赖概率式接口来驱动部署决策是不够的。在缺乏人类兜底机制的场景下，系统必须在不确定时仍然做出动作，这时候真正需要控制的不是分类准确率或AUC，而是在"已经采取了效用最大化动作"的那部分输入子集上的假省略风险（false omission risk）。

所谓假省略，指的是系统本应采取某个动作却没有采取的情况——例如一个本应被拦截的有害输入被放行了。这个风险指标比整体错误率更贴近部署现实，因为被保守回退策略处理掉的那部分输入，其代价已经被单独控制。

方法设计：保守回退加风险预算

研究提出的框架包含两个关键机制。

保守回退（conservative fallback）：当模型对某个判断不确定时，系统默认执行一个安全但在效用上保守的动作。这样，高风险决策被限制在一个可控的子集内。

风险预算选择：在那些被分配到效用最大化动作的输入子集上，对假省略风险施加约束。这就把问题从"选一个多高的阈值"转变为"在给定风险预算下，选择能让多少输入获得有效动作"。

作者在六个数据集上做了验证，覆盖内容审核、安全过滤和文档重排三类任务。对比对象包括通用System One模型、各任务专用基线，以及一个本地开源权重的微调System One模型。

关键的实验结论出现在阈值选择方法上：在测试风险可定义的设置中，朴素的阈值选择基线有大约一半的情况会超过目标风险水平，而Learn Then Test（LTT）方法只有7.8%的情况超标。LTT的优势在于它利用了有限样本的统计保证，而不是依赖点估计的概率校准。

假省略风险（false omission risk） 是与假发现风险（false discovery risk）相对的一类条件风险指标。在二值决策中，假发现指系统采取了动作但动作是错的；假省略则指系统应当采取动作却选择了保守回退。

这个概念之所以比整体错误率更贴近部署现实，是因为在允许/拦截流程中，两类错误代价往往严重不对称：一次误拦截可能只是用户体验损失，而一次误放行可能造成安全事件。把假省略风险限定在"已经获得效用最大化动作"的输入子集上度量，等价于承认保守回退的那部分输入已经被单独兜底，不需要在同一个指标里混合计算。这种划分让工程团队可以用一个标量风险预算——例如"假省略率不超过 5%"——作为部署门槛，而不是在多个互相纠缠的错误率之间做模糊权衡。

系统化对比揭示的规律

这组实验的价值不只在于报告了LTT的低超标率，更在于它量化了"校准良好"和"风险可控"之间的距离。一个模型可能在校准指标上表现不错，但当它被放入真实的允许/拦截流程中时，仍然可能因为阈值选择的统计缺陷而导致实际风险超出预期。

六个数据集的跨域对比也说明，这个问题不是某个特定任务的偶然现象。内容审核、安全过滤和重排虽然业务形态不同，但都涉及"在不确定时仍需执行动作"的同一类决策困境。通用System One模型、任务基线、开源微调模型三者的表现差异，进一步指向一个结论：模型能力提升不能替代决策层的风险控制设计。

你可能没注意到，风险预算选择的本质是一种权衡：它把"有用动作的覆盖率"和"已观测到的错误"放在同一个框架里比较。这给工程实践提供了一个可操作的调节旋钮——划定你能容忍的错误预算，然后让系统在此约束下尽可能多地处理输入。

Learn Then Test（LTT） 是 Angelopoulos 等人提出的一种基于多重假设检验的阈值选择框架。它的核心思想是：把所有候选阈值视为一组待检验的假设，利用有限样本下的 p 值构造方法计算出每个阈值对应的风险上界，再通过 FDR（False Discovery Rate）控制程序一次性筛选出满足风险预算的阈值集合。

与传统的点估计校准不同，LTT 不依赖"概率分数恰好准确"这一前提，而是给出有限样本下成立的风险保证：只要候选阈值集合事先固定，LTT 选出的阈值在真实分布上超出目标风险的概率就被严格控制。这一点在部署场景中尤其关键——模型输出的概率可以校准得很好，但阈值一旦通过固定规则（如 0.5）选出，就失去了统计保证，实际风险可能因分布偏移而失控。LTT 把"选阈值"从工程调参转化为一个可被统计回答的决策问题。

对LLM工程实践的启示

对正在构建LLM工作流和智能体的团队来说，这项研究给出了几个直接可用的判断。

第一，不要直接把模型输出的概率当作决策置信度使用。概率校准和部署风险是两个独立的评估维度，前者好不代表后者能满足要求。

第二，在无法转交人工的场景里，应当显式设计保守回退策略，把不确定输入的路由单独管理，而不是让它们和确定输入混在同一条阈值线上。

第三，阈值选择需要统计保证。LTT这类有限样本方法的价值在于，它把"我选的阈值是否会超出风险预算"变成一个可以被统计回答的问题，而不是一次离线调参的经验赌博。

从更宏观的视角看，这项工作把LLM二值决策从"分类问题"重新框定为"风险预算下的资源分配问题"。这个视角转换，可能比任何单一方法的改进都更重要。