几何碎片化：揭露大模型被抑制的知识

大型语言模型（LLM）是否真正理解某个概念？传统的行为评估方法可能被“抑制”现象欺骗：模型拒绝回答，并不代表它没有可恢复的知识。一篇题为《The Geometry of Ignorance: Detecting Suppressed Knowledge in LLMs through Activation Fragmentation》的研究提出了一种新框架，通过分析激活空间的几何结构来检测被抑制的知识，为评估模型知识提供了无需攻击的代理指标。

行为评估的局限与几何视角的引入

研究指出，仅依赖输出行为（如回答正确率或拒绝率）来评估模型知识存在根本缺陷。模型可能出于安全对齐或微调而选择不回答，但其内部仍保留着可提取的知识。为了绕过这一限制，作者引入了“anon-vectors”的概念：对于某个概念特定的查询及其匿名化改写，计算模型隐藏状态之间的差异向量。通过测量这些向量的几何一致性，可以推断模型是否真正掌握该概念。

隐藏状态与激活空间：在Transformer架构中，每个token的输入会经过多层自注意力与前馈网络处理，每一层都会产生一个高维向量表示，称为“隐藏状态”（hidden state）。将所有层、所有token的隐藏状态视为一个整体，就构成了“激活空间”（activation space）。激活空间是模型内部计算的连续表征空间，其几何结构（如向量的方向、距离、聚类形态）编码了模型对输入的理解与知识调用方式。与输出层的离散token不同，激活空间保留了模型在生成最终答案前的全部中间计算信息，因此成为探测被抑制知识的关键窗口。

熵与低熵聚类：在信息论中，熵衡量一个分布的混乱程度。在激活空间中，若模型对某概念具有稳定、一致的表征，则相关隐藏状态会聚集在空间中的某个局部区域，形成低熵、高密度的聚类；反之，若模型缺乏该概念的知识，其激活向量会分散在空间中，呈现高熵的碎片化分布。因此，“低熵聚类”与“几何碎片化”构成了区分已知与未知概念的可量化几何指标。

知识 vs. 无知：低熵聚类与几何碎片化

核心发现是：真实知识表现为紧密的低熵聚类，而无知则导致几何碎片化。在三个模型家族的十个指令微调LLM上，所有碎片化指标都能可靠区分已知和未知概念。这意味着，即使模型在行为上表现出无知（如拒绝回答），其内部激活的几何模式仍可能揭示出潜在的知识。这种几何分析方法提供了一种更本质的知识评估视角。

指令微调模型：指令微调（instruction tuning）是在预训练语言模型基础上，使用大量“指令-回答”配对数据进行有监督微调，使模型学会遵循人类指令、以对话形式作答。这一过程会显著改变模型的行为模式，包括引入安全对齐导致的拒答行为。因此，在指令微调模型上研究“抑制知识”尤为 relevant：模型可能在微调中被训练为对某些概念保持沉默，但其预训练阶段获得的知识仍可能以几何结构的形式保留在激活空间中。研究选取三个模型家族的十个指令微调LLM，正是为了验证几何碎片化指标在不同架构与微调策略下的泛化能力。

遗忘后的鲁棒性：几何碎片化与对抗恢复的关联

研究进一步探讨了遗忘学习（unlearning）后的情况。在四种攻击类型和五种遗忘算法下，碎片化几何与对抗恢复（adversarial recovery）之间存在相关性。然而，这种关系的方向取决于攻击方法：某些攻击下碎片化程度越高越容易恢复，另一些则相反。这表明几何碎片化并非简单的“知识残留”指标，而是与攻击机制深度耦合。

机器遗忘（Unlearning）：机器遗忘指从已训练模型中移除特定知识或数据影响的技术，常用于隐私保护（如删除用户数据）或安全治理（如移除有害知识）。典型遗忘算法通过梯度上升、偏好优化或参数编辑等方式，让模型在行为上“忘记”目标概念。然而，遗忘的鲁棒性是一个关键问题：攻击者可能通过对抗性提示（adversarial recovery）重新诱导模型输出被遗忘的知识。若遗忘仅抑制了输出行为而未消除内部表征，则知识可能被恢复。该研究正是在这一背景下，利用激活几何碎片化作为遗忘鲁棒性的无攻击代理指标。

层析分析：不同攻击机制在深度上的差异

通过分层解析，作者发现不同对抗机制在不同深度上利用这种几何结构，且攻击特异性相关性很高，而这些在行为评估中完全不可见。这揭示了模型内部知识表征的复杂层次性，也说明单一的行为指标会丢失大量信息。

单阶段、无攻击的鲁棒性代理指标

基于上述发现，研究者提出了一种单阶段、无需攻击的代理指标，用于评估遗忘学习的鲁棒性。该指标能够捕捉输出级指标无法触及的参数化知识层面。参考实现已在GitHub上公开（链接）。这项工作为理解LLM的知识抑制和遗忘机制提供了新的几何工具，并可能影响未来模型安全评估的标准。

总之，这项研究通过激活空间的几何分析，打开了检测被抑制知识的新窗口，强调了行为评估的不足，并为鲁棒性评估提供了实用方案。