表征简洁≠电路更小：对抗训练揭示可解释性的阈值分野

机器可解释性研究长期存在一个隐含假设：如果一个模型的内部表征更"干净"——更容易被稀疏自编码器（SAE）分解、特征归因更集中——那么它的计算过程就更容易被逆向工程，对应的因果电路也应该更小、更可控。一篇新发布的 arXiv 论文（arXiv:2609.35890v1）对这一假设发起了直接检验，结论却出人意料：表征层面的简洁性与电路层面的因果简洁性并不总是同步，两者会在特定的"忠实度阈值"处发生分离。

一个被广泛默认却未经检验的假设

近年来，SAE 分解能力和集中的特征归因越来越被当作"模型计算更易逆向工程"的证据。研究者倾向于认为：表征越稀疏、越可分解，背后的机制就越简单。但论文作者指出，这种"表征与归因上的洁净"是否真的意味着更小或更易处理的因果电路，仍然是一个悬而未决的问题。

表征的整洁和电路的简洁，本质上是两个不同层面的性质。前者关注模型如何编码信息，后者关注恢复模型行为所需的因果结构规模。把前者当作后者的代理指标，一直缺乏严格的实证支撑。这篇论文声称是首个针对"表征/归因简洁性是否能转化为电路层面因果简洁性"的受控实证测试。

稀疏自编码器（SAE）是一种无监督学习工具，被训练用来将神经网络的激活向量分解为一组稀疏的、可解释的特征方向。其核心思路来源于"超完备表征"假设：神经网络可能将数千个概念线性叠加在较小的激活空间中，SAE 通过引入稀疏惩罚，迫使重建过程尽量用少数激活特征来解释原始向量。如果一个模型的表征能被 SAE 高质量地重建，且重建时激活的特征数量少（即稀疏），研究者通常将其视为该模型"使用了更加模块化、可分离的内部概念"的证据。近年来，Anthropic 等机构的研究将 SAE 推向了机制可解释性的核心工具位置，但这类研究大多聚焦于"发现可解释特征"，而非验证特征稀疏性与因果电路复杂度之间是否存在对应关系。

用对抗训练作为"受控实验工具"

研究的方法设计颇具巧思。作者没有直接去比较任意两个模型，而是把对抗训练当作一个受控的实验杠杆——因为对抗训练能可靠地重塑模型的内部表征，但这种重塑本身并不等于对电路规模的检验。

实验从同一个预训练的 GPT-2 Small 检查点出发，分别施加匹配的标准持续训练和对抗持续训练两种条件。为了保证比较的公平性，作者要求两种条件下的模型都必须在"间接宾语识别"（Indirect Object Identification, IOI）任务上保持能力，并通过独立的鲁棒性验证，然后才进入机制层面的对比。这种"能力匹配 + 鲁棒性验证"的前置门槛，避免了因模型能力差异而污染结论。

作者将"逆向工程复杂度"操作化为：在固定忠实度水平下，恢复模型行为所需的因果结构。这为衡量电路规模提供了一个可量化、可比较的标尺。

间接宾语识别（IOI）任务是机制可解释性领域的经典基准，由 Wang 等人（2022）在 GPT-2 上率先系统研究。任务形式为：给定句子"Mary and John went to the store. John gave a bottle to ___"，模型需要预测"Mary"而非"John"。该任务的价值在于它有一个相对明确的"正确电路"——由若干特定的注意力头和信息流路径构成，研究者已对此形成了较为共识性的理解。这使其成为跨模型比较逆向工程难度的理想受控场景：任务足够具体、行为可量化，同时又需要模型在多个层之间协调信息，足以暴露不同训练方式下电路结构的差异。对抗训练在这里的作用，是在不改变任务表现的前提下系统性地扰动内部表征，从而制造出一对"行为等价但表征风格不同"的模型，为因果电路的对比提供干净的实验条件。

三个维度的交叉比较

论文沿三条互补的轴线对两个模型展开比较：

• SAE 可分解性：模型表征能否被稀疏自编码器清晰分解；
• SAE 特征在任务归因中的参与度：完成任务时调用了多少 SAE 特征；
• 忠实电路的规模：从原始计算图中恢复出的、达到给定忠实度的电路边数。

在表征层面，结论符合直觉：鲁棒（对抗训练）模型更易被 SAE 分解，且在任务归因中调用的 SAE 特征更少。也就是说，对抗训练确实让表征变得更"干净"。这一趋势不仅体现在主对比对上，还在一个七点扫描（seven-point sweep）和第二个语料库上得到了泛化验证，说明表征简洁性的结论相当稳健。

关键发现：电路规模的分离是"阈值依赖"的

真正颠覆直觉的是电路规模的结果。论文发现电路大小是**依赖于所处区间（regime-dependent）**的：

• 在能力匹配的 IOI 任务上，当忠实度低于 85% 时，标准训练模型的电路规模领先或与鲁棒模型持平；
• 但在高忠实度区间（90%、95%），鲁棒模型需要的电路边数显著更少。

换句话说，如果只要求大致复现模型行为（较低忠实度），表征更"干净"的鲁棒模型并不占优，甚至更复杂；只有当你追求高保真地还原模型行为时，表征简洁性才转化为更小的因果电路。表征简洁与电路简洁之间的关系，不是简单的线性正相关，而是存在一个明确的阈值分野。

电路忠实度（circuit faithfulness）衡量的是：当把模型中除目标电路之外的其他组件全部替换为基线（如零化或均值替换）后，剩余电路能在多大程度上复现原始模型的完整输出分布。忠实度 85% 意味着仅用电路就能解释约 85% 的原始行为方差；95% 则要求几乎完整地还原模型在该任务上的计算。忠实度阈值的选取在实践中并无统一标准，不同论文往往使用 70%~95% 不等的值，这正是本文发现"结论依赖于忠实度区间"如此关键的原因——它揭示了领域内隐性的方法论不一致可能掩盖了完全相反的结论。高忠实度要求本质上更接近于完整的逆向工程，而低忠实度更像是找到一个粗粒度的功能近似；两者对电路规模的要求可以截然不同。

对可解释性研究的启示

这一结果对当前的机制可解释性研究有直接的方法论意义。把 SAE 可分解性当作"电路更小、更易逆向工程"的替代指标，在低忠实度场景下可能会产生误导——表征洁净的模型未必对应更简单的因果机制。

研究还暗示，评估可解释性时必须明确"在什么忠实度水平上比较"。忠实度阈值不同，结论可能完全相反。对于希望通过对抗训练获得"更可解释"模型的实践者而言，这意味着收益可能主要体现在需要高保真解释的场景，而非泛泛的可解释性提升。

需要说明的是，这些结论建立在 GPT-2 Small 与 IOI 任务这一特定设置上，主要电路规模的模式建立在一对主对比模型上，能否推广到更大规模模型和更复杂任务仍有待后续验证。但作为首个针对这一问题的受控实证测试，它为"表征简洁是否等于机制简洁"这一长期默认的假设提供了有价值的反例。