黑盒不确定性量化新突破:双层集成解耦LLM歧义与知识缺口

双层集成框架仅凭黑盒采样即可分解LLM的偶然与认知不确定性。
文章介绍了一种面向大型语言模型的黑盒不确定性量化框架,旨在解决现有方法要么计算昂贵、要么需要白盒访问的难题。该框架采用“集成之集成”结构:内层通过随机解码捕捉生成随机性,外层通过保持语义的提示扰动引入系统性变异,并利用全协方差定律在嵌入空间将总变异性分解为偶然不确定性(AU)和认知不确定性(EU)。论文给出偏差校正、贝叶斯桥接和分离性三个理论结果,并在多个问答基准和指令调优模型上验证其与白盒基线具有竞争力,且AU/EU能选择性响应提示歧义与知识缺口,为开发者针对性干预提供了依据。
大型语言模型(LLM)的可靠部署离不开对不确定性的准确估计。然而,现有方法要么依赖昂贵的贝叶斯推理和深度集成,要么需要白盒访问模型内部,这在LLM规模下难以实现。近期一篇论文提出了一种双层集成框架,仅通过黑盒采样即可分解不确定性中的偶然性(aleatoric)与认知性(epistemic)成分,为LLM不确定性量化提供了新思路。

为什么需要区分两种不确定性?
不确定性量化(UQ)对于LLM应用至关重要,尤其是在高风险场景中。理想情况下,我们不仅要知道模型有多“不确定”,还要区分这种不确定性来自哪里:是提示本身存在歧义(偶然不确定性,AU),还是模型缺乏相关知识(认知不确定性,EU)。这种区分具有实际意义——前者可以通过澄清问题解决,后者则需要补充知识或检索增强。
贝叶斯方法和深度集成在原理上能够实现这种分解,但计算成本极高,且需要访问模型权重或梯度(白盒)。黑盒方法虽然适用性更广,但通常只输出一个标量不确定性分数,无法区分AU和EU。这一矛盾催生了论文的核心问题:能否在仅使用黑盒采样的情况下,实现有意义的不确定性分解?
偶然不确定性(Aleatoric Uncertainty, AU) 源于数据生成过程本身的随机性或观测噪声,即使模型拥有无限知识和完美参数,这种不确定性也无法消除。在LLM场景中,AU主要表现为提示本身的语义歧义、指代不明或多解性——例如“苹果”既指水果也指公司,此时模型输出波动反映的是任务固有的模糊性。
认知不确定性(Epistemic Uncertainty, EU) 则源于模型知识和参数的有限性,理论上有望通过增加数据、知识或模型容量来降低。在LLM中,EU对应模型对某个事实或概念“不知道”或“训练不足”的状态。区分二者之所以关键,是因为它们的应对策略截然不同:AU需要通过澄清提示、增加上下文或约束输出空间来缓解,而EU则需要检索增强、知识注入或再训练。混淆二者会导致错误干预——例如把知识缺口误判为提示歧义,从而反复改写提示却无济于事。
双层集成:从随机解码到语义扰动
论文提出的解决方案是一个“集成之集成”(Ensemble-of-Ensembles)架构。内层集成通过对同一提示进行随机解码(stochastic decoding)生成多个输出,捕捉模型在生成过程中的随机性。外层集成则对原始提示进行保持语义的扰动(meaning-preserving semantic perturbations),例如同义改写或句式调整,生成多个语义等价的提示变体。
关键创新在于,变异性在连续嵌入空间中度量,而非简单的文本表面差异。利用全协方差定律(law of total covariance),框架能够精确地将总变异性分解为扰动内(within-perturbation)和扰动间(between-perturbation)成分,分别对应偶然不确定性和认知不确定性。这种分解只需要黑盒采样访问,不依赖模型内部状态。
论文还提供了三个理论结果来支撑框架的合理性:一是嵌套蒙特卡洛的有限样本偏差恒等式,给出了偏差校正的认知不确定性估计器;二是贝叶斯桥接,界定了扰动群体AU/EU与贝叶斯目标之间的差距;三是分离结果,证明了一类仅依赖一致性的黑盒方法必然遗漏的失败模式,而基于扰动的方法能够检测到。
全协方差定律(Law of Total Covariance) 是概率论中方差分解的多维推广:对随机向量 X 和 Y,有 Cov(X) = E[Cov(X|Y)] + Cov(E[X|Y])。第一项是给定 Y 后 X 的条件协方差的期望,对应“组内”变异;第二项是条件期望本身的协方差,对应“组间”变异。在本框架中,内层随机解码对应条件分布,外层语义扰动对应分组变量,因此总嵌入变异可被精确拆分为扰动内成分(捕捉生成随机性,即AU)和扰动间成分(捕捉提示语义变化引起的系统性偏移,即EU)。这一恒等式是分解能够成立且无需模型内部访问的数学基石。
嵌套蒙特卡洛(Nested Monte Carlo) 是一种双层抽样估计方法:外层对分组变量(此处为语义扰动后的提示)采样,内层对条件分布(此处为随机解码输出)采样,从而估计嵌套期望或协方差。直接使用样本协方差分解会因内外层样本量有限而产生偏差,论文给出的有限样本偏差恒等式刻画了偏差如何随内外层样本数变化,并据此构造偏差校正估计器。这使得在固定生成预算下,AU/EU估计仍保持统计一致性,而不是仅仅依赖大样本渐近性质。
实验验证:竞争力与可操作性
在五个短问答基准和四个指令调优LLM(涵盖两个家族、两种规模)上,该估计器与强白盒基线相比具有竞争力。在匹配生成预算下,它在错误排序上与领先的黑盒方法持平,同时还能分解AU和EU。
更说个细节,通过控制配对干预(controlled paired interventions),作者展示了AU和EU对不同的失败源具有选择性响应:提示歧义主要影响AU,而模型知识缺口主要影响EU。这种可操作性意味着,开发者可以根据不确定性类型采取针对性措施——澄清提示或检索知识。此外,在NQ长答案划分上的初步实验表明,该框架无需重新训练即可扩展到声明级事实性评估。
配对干预(Paired Interventions) 是一种因果式的验证设计:对同一底层问题构造两类受控变体——一类引入提示歧义(如增加多解性表达),另一类引入知识缺口(如询问模型训练数据中罕见的事实),然后观察AU和EU估计器是否按预期选择性响应。若AU主要随歧义干预上升、EU主要随知识缺口干预上升,则说明分解具有可操作性和判别力,而非仅仅在数值上分离。这种设计比单纯与白盒基线比较相关性更能证明分解的语义有效性。
意义与局限
这项工作为LLM不确定性量化提供了一种实用的黑盒方案,平衡了理论严谨性与计算可行性。其核心贡献在于将集成思想与语义扰动结合,并通过嵌入空间分解实现了AU/EU的分离。不过,论文也指出,该方法依赖于语义扰动生成的质量,且在外层集成中需要足够的扰动多样性来保证估计的稳定性。未来工作可能探索更高效的扰动策略和跨任务泛化能力。
对于实际应用而言,这一框架有望帮助开发者更精细地诊断模型失败原因,从而构建更可靠的LLM系统。
相关推荐

Daybreak Red部署指南:监督式安全调查参考架构
Daybreak Red参考架构解析:介绍监督式安全调查的安全控制设计、部署配置流程与运行监控机制,为团队落地受控安全调查提供工程参考。

Gemini 4 Neon 登顶 Models Engineering Index 榜首
Gemini 4 Neon 在 Models Engineering Index 上成为新晋第一,Hacker News 社区热议其排名含金量与评测方法。本文梳理榜单变动、社区反应及对开发者选型的实际影响。

苹果自研AI智能体:能替你操作Mac的Agent要来了
苹果据报正在开发可操控Mac的AI智能体,对标Meta Muse、Claude、OpenAI Dots等产品。本文分析苹果在agent赛道的系统级优势、竞争格局与可能的落地路径。