U-Space 揭秘语言模型何时产生不确定性

大模型给出答案时，往往显得自信满满，但内里到底有几分把握？在一篇新研究中，作者提出了 U-Space 框架，用于揭示语言模型不确定性何时以及为何产生。据 Reddit 社区分享，这项工作试图用一次前向推理，给出一个可解释的"模型有多确定"信号。

为什么现有方案不够用

如果你在做开放权重的推理模型，多半想过要一个"模型对这个答案有多确定"的信号。但现有做法代价不低：要么反复采样多次（5 倍甚至更多算力），要么引入裁判模型，要么依赖标注数据集。这些方案不仅贵，而且往往只给出一个笼统的置信度数字，说不清"不确定"到底来自哪里。

作者因此构建了 U-Lens，其核心打分公式是一句话：分数 = 隐状态指向不同"怀疑"方向的强度 × 推理 token 的平均熵。前者捕捉模型内部状态对某种不确定性的倾向，后者衡量输出分布本身的混乱程度，两者相乘得到一个综合信号。

熵（entropy） 是信息论中的核心概念，用于衡量一个概率分布的"混乱程度"。在大语言模型的语境下，模型对下一个 token 的预测本质上是一个概率分布：如果分布高度集中在某个 token 上（例如 95% 概率），熵就很低；如果概率分散在多个候选 token 上，熵就高。因此，推理 token 的平均熵可以理解为一个纯粹的"输出层面"不确定信号——模型在生成这段推理时，每一步都在多少候选之间犹豫。

但平均熵的局限也很明显：它只反映最终输出分布的形状，无法告诉我们模型内部的隐状态究竟在"怀疑什么"。一个模型可能因为信息缺失而犹豫，也可能因为证据互相矛盾而犹豫，这两种情况在熵上看起来完全一样。这正是 U-Space 要把"隐状态方向"与"输出熵"相乘的原因：前者提供语义层面的解释性，后者提供数值层面的敏感度，两者互补。

U-Lens 的三个关键特性

无需标注、无需训练、单次推理

U-Lens 是无标签的：不需要正确性标签，不训练、不微调，单次前向即可完成，无需重采样。这一点对工程落地很关键——你不需要为每个新任务准备标注数据，也不用付出多次采样的推理成本。

可解释：区分四种不确定性

更有意思的是，它能告诉你不确定性的"种类"，而不只是一个分数。作者将其分为四类：(i) 歧义（ambiguity），(ii) 信息缺失（missing information），(iii) 证据冲突（conflicting evidence），(iv) 一般性不确定（general uncertainty）。对很多应用来说，这个分类并非必需，但一旦你需要在系统里做不同处理，它就派上用场了。

歧义（ambiguity） 与 证据冲突（conflicting evidence） 是两类容易混淆但处理方式截然不同的不确定性。歧义指的是问题本身可以有多种合理解读，例如"苹果好吃吗"没有说明是水果还是公司；此时模型并不缺信息，也不存在矛盾证据，只是问题边界不清，正确的系统行为通常是主动澄清。

证据冲突则指模型检索或回忆到的多条信息彼此矛盾，例如 RAG 流程中两篇文档给出不同的数值；这时模型"知道得太多"而非太少，正确的系统行为往往是标注冲突并让用户或下游模块仲裁，而不是强行给出一个答案。

信息缺失（missing information） 则对应模型确实缺少关键前提，此时触发检索是自然选择。而 一般性不确定 是一个兜底类别，捕捉不归属于前三者的残余信号。把不确定性拆成这四类，价值在于它直接映射到不同的工程动作（澄清、检索、仲裁、弃权），而不是笼统地"降低置信度阈值"。

效果：击败多轮采样与监督基线

在 3 个种子、3 个模型、4 个基准的评测中（涉及 Gemma 4、Qwen3.5 和 Magistral），U-Lens 是最佳估计器，领先于 5 轮采样、10 轮采样以及监督式基线。考虑到它是无标签、单次推理的方案，这个结果相当有说服力。

实现机制：Jacobian Lens 与 U-Space 基

U-Lens 唯一依赖模型特定的组件是 Jacobian Lens（简称 J-Lens，来自 Anthropic 的 global workspace 论文）。一旦拟合好 J-Lens，后续步骤就很轻量：在 CPU 上一次性构建四个方向的 U-Space 基，只需要几百个词的 unembedding 行，不必加载完整模型。

推理阶段，在思考结束时抓取一个隐状态（对某一层挂一个 forward hook），与四个向量做点积，再乘以从 logits 直接得到的平均熵即可。作者提到，判断 Lens 是否合适，通常用 Anthropic 博客中的示例做检查。

获取 J-Lens 的两种途径

目前已有一个现成选择：Hugging Face 上提供了 40 多个预拟合 lens（neuronpedia/jacobian-lens），覆盖 Gemma 2/3/4、Qwen3/3.5/3.6、Llama 3.1/3.3、gpt-oss-20b、OLMo 3 等。如果你的模型不在列表中，可以用 Anthropic 的参考代码（anthropics/jacobian-lens，jlens.fit）自行拟合，大约需要 100 条无标签 prompt，不训练任何参数，成本主要来自反向传播。作者自己就是这样构建了 Magistral lens，并随仓库一同发布。

Jacobian Lens（J-Lens） 源自 Anthropic 关于"global workspace"的研究思路，其动机是：模型中间层的隐状态并不直接对应词表空间，因此无法简单地用 logits 来解释它"在想什么"。J-Lens 通过估计隐状态到输出空间的雅可比矩阵（即隐状态微小变化会引起输出 logits 怎样的变化），把任意一层的隐状态线性映射回可解释的 token 空间，从而让中间层的"意图"变得可读。

一个关键特性是，J-Lens 是模型特定但任务无关的：一旦针对某个模型拟合完成，就可以复用于任意 prompt，不需要再训练。这就是 U-Lens 能保持"单次推理、无标签"的原因——昂贵的部分被一次性的、离线的 Lens 拟合吸收掉了。此外，J-Lens 的读取只需要词表的 unembedding 行（即输出投影矩阵），不必加载完整模型权重，所以在 CPU 上几分钟就能构建 U-Space 基。

unembedding 矩阵 是语言模型最后一层的输出投影矩阵，形状通常为隐藏维度 × 词表大小，每一行可以看作某个 token 在隐空间中的"方向向量"。把隐状态与这些行做点积，就得到该 token 的 logit。

U-Space 的四个不确定性方向正是在这个空间里定义的：作者从 unembedding 行中挑选少量与四类不确定性语义相关的 token（只需几百个词），在这些方向上构建基向量。这样做的好处是双重的——既避免了对完整模型的依赖（只需矩阵的一小部分），又让方向本身具备了可读的语义标签，否则点积结果只是一个无法解释的标量。

需要注意的是，由于基向量直接建立在特定模型的 unembedding 上，U-Space 基不具备跨模型可迁移性，每个模型都需要单独构建一次。这也是作者提供预拟合 lens 列表的意义所在。

上手与潜在应用场景

仓库入口很直接：克隆 https://github.com/s2labres/U-Space，安装依赖后运行 ./run_smoke.sh 即可跑通 Qwen3.5-4B 在 10 条 TriviaQA 问题上的端到端流程（单 GPU）。核心调用只有两行——先为每个模型构建一次基，再对每条答案计算分数。

作者给出了几个期待社区尝试的方向：

把低置信度答案路由给更大的模型或人类处理；
当"信息缺失"信号亮起时触发检索；
当"歧义"信号亮起时主动提出澄清问题；
在 RAG 流程中标记出证据冲突。

需要说明的是，这目前是研究代码——一个复现管线，还不是 pip 包。作者在文末也向社区抛出问题：你会把它接入什么场景？

U-Space 的价值在于把"模型有多确定"从一个笼统标量，拆解成可解释、可路由的信号，并且把成本压到单次推理。对构建推理模型应用的人来说，这可能是一个值得关注的方向。