共享Fisher-Rao几何：一种通用LLM安全控制方法

当控制大模型成为一门工程直觉而非科学

长期以来，调控大语言模型（LLM）行为更像是一门手艺活而非严谨的科学。无论是引导模型输出、编辑其内部知识，还是进行特征归因，研究者往往依赖欧几里得空间中的参数更新——简单直接，却缺乏统一的理论基础。这种方法的问题在于：每一次干预都可能带来不可预知的"附带损伤"，让安全控制沦为临时拼凑的工程问题。

一篇发表于arXiv的新研究试图改变这一局面。它提出，不同架构、不同家族的大模型在输出层面上竟然收敛到一个几乎完全相同的几何结构——Fisher-Rao度量。这个发现为"通用控制"提供了坚实的数学支点。

激活几何与输出几何：被忽视的关键区别

这项研究的核心洞见之一，是明确区分了"激活几何"（activation geometry）与"输出几何"（output geometry）。前者描述模型内部激活值的分布结构，后者则刻画下一个token概率分布的几何特性。

论文强调，真正与模型行为和可控性相关联的，是输出几何而非激活几何。这一点颇为关键：过去许多控制方法在激活空间中做文章，但激活空间在不同模型间差异巨大，难以形成通用方法。而当研究者转向输出空间时，一个意外的规律浮现了出来。

跨架构的惊人收敛

研究发现，Transformer、状态空间模型（state-space models）以及循环神经网络（RNN）——这些架构迥异的模型——它们的输出几何对齐程度远高于激活几何。换句话说，无论底层架构如何，模型在"预测下一个词"这件事上所遵循的几何规律惊人地一致，都近似于同一个Fisher-Rao度量。

这种收敛正是通用控制成为可能的前提。既然存在一个共享的度量，那么理论上就可以设计出一种适用于任意Transformer、状态空间或循环模型的"最小扰动更新"方案。

Fisher-Rao度量源自信息几何（Information Geometry）领域，由统计学家C.R. Rao于1945年首次提出。它本质上是概率分布空间上的一种黎曼度量，通过Fisher信息矩阵来衡量两个概率分布之间的"统计距离"。与欧几里得距离不同，Fisher-Rao度量天然尊重概率分布的内在结构：当两个分布在统计上难以区分时，它们之间的距离就小；反之则大。对大语言模型而言，每一步预测都会输出一个词汇表上的概率分布，因此Fisher-Rao度量为衡量和操控这些输出分布提供了一套数学上"自然"的工具。这也解释了为何基于该度量的扰动能够做到"最小"——它在概率分布的固有几何中寻找最短路径，而非在人为定义的欧几里得空间中做粗糙的线性移动。

状态空间模型（State Space Models，SSM）是近年兴起的序列建模架构，代表性工作包括Mamba系列。与Transformer依赖注意力机制不同，SSM通过线性递推方程来捕捉序列依赖关系，在长序列处理上具有线性时间复杂度的优势。循环神经网络（RNN）则是更早期的序列模型，通过隐藏状态在时间步之间传递信息。这三类架构——Transformer、SSM、RNN——在内部计算机制上有本质差异，其激活值的统计分布自然大相径庭。正因如此，研究者观察到它们的输出几何竟然高度对齐，才显得格外出人意料：这说明无论通过何种内部路径抵达"预测下一个词"这一目标，模型最终都被塑造成了在概率输出层面遵循相同几何规律的系统。

一次修正，多项任务受益

基于Fisher-Rao几何的修正方法，其应用范围相当广泛。根据论文[1]，同一套修正可以同时改善以下多项任务的表现：

• 引导控制（steering）：更精准地调整模型输出方向
• 知识编辑（knowledge editing）：修改模型内部存储的事实
• 特征归因（feature attribution）：解释模型决策依据
• 字典学习（dictionary learning）：提取可解释的特征
• 微调（fine-tuning）：优化模型以适应特定任务

最引人注目的数据是：这种基于几何的修正能将"脱靶改变"（off-target change）减少高达两个数量级。也就是说，在实现目标干预的同时，对模型其他行为的意外破坏被压缩了近百倍。对于追求安全可控的AI系统而言，这是一个极具分量的改进。

论文明确指出，这种收益直接源自那个共享的Fisher-Rao几何——正是因为不同架构的输出几何高度对齐，才使得一个"最小扰动"的通用度量得以成立。

字典学习（Dictionary Learning）在可解释性研究中是指将模型内部的高维激活向量分解为一组稀疏的、语义上可解释的"原子特征"的线性组合——这些原子特征构成所谓的"字典"。其核心动机是：神经网络的单个神经元通常具有多义性（polysemanticity），即同时响应多种不相关的输入，难以直接解读。通过字典学习提取的稀疏特征则往往对应更清晰的语义概念，是目前机制可解释性（Mechanistic Interpretability）研究的重要工具之一，Anthropic等机构已将其大规模应用于分析Claude等模型的内部表示。将Fisher-Rao几何修正引入字典学习，意味着提取出的特征在概率输出层面具有更严格的几何约束，有望提升特征的质量与稳定性。

代价与悬而未决的问题

天下没有免费的午餐。估算Fisher-Rao度量需要大量的梯度计算，这对于超大规模模型或多模态模型来说，可能意味着可观的计算开销增长。

论文中报告的实验覆盖了若干模型家族，但其可扩展性仍是一个开放问题。研究者坦承，要验证该方法能否推广到万亿参数级别的视觉-语言系统，还需要进一步的研究。这意味着，当前的结论虽然在中等规模模型上令人信服，但在最前沿的巨型多模态系统上能否同样奏效，暂时还是未知数。

可能成为安全控制的新基准

如果这种几何修正方法被证明具有广泛的有效性，它完全有潜力成为未来安全控制基准测试的新起点。相比过去那些依赖经验和试错的临时方案，一个有坚实数学基础、跨架构通用的方法，无疑更符合AI安全研究对"原则性"的追求。

一个值得思考的前景是：未来的LLM工具链，会不会将Fisher-Rao驱动的控制器内置到每一次发布中？如果答案是肯定的，那么"安全可控"或许将从一个事后补救的工程挑战，转变为模型设计中与生俱来的基础设施。

结语

这项研究最大的价值，不仅在于提供了一个具体的控制工具，更在于它揭示了一个深层规律：尽管大模型的架构五花八门，但它们在信息几何层面上共享着某种被学习出来的、可被控制的通用结构。这种统一性为LLM的可解释性与安全控制研究打开了一扇新的大门。当然，计算成本和超大规模可扩展性的问题，仍有待后续工作来回答。