读出缩放如何影响稀疏自编码器的特征恢复？RC-DS方法解析

稀疏自编码器（SAE）被广泛用于从神经网络激活中提取可解释特征。但一个容易被忽略的细节是：读出缩放（readout scaling） 会改变SAE实际学到的东西。最新研究通过读出规范化决策空间（RC-DS）坐标，系统分析了读出缩放、数据分布与训练几何之间的交互关系。

核心发现：训练坐标决定特征恢复效果

研究团队设计了一套受控的坐标匹配实验，结论相当直接：当训练过程恢复了因子被生成时的那个空间，稀疏因子的恢复效果最好。

换句话说，SAE学得好不好，不只取决于模型容量或训练步数，还取决于训练坐标是否与数据生成过程对齐。

在固定读出条件数的情况下，改变生成分布会反转哪种训练坐标恢复已知因子的效果最佳。这说明不存在一个"万能"的训练坐标选择——它依赖于数据的生成方式。

稀疏自编码器（SAE） 是一种无监督学习方法，目标是用一组过完备但稀疏的基向量重建输入激活。在机械可解释性研究中，SAE 常被用于将叠加（superposition）在一起的稠密神经激活分解为稀疏、可解释的“特征”方向。其损失通常由重建误差和稀疏惩罚项构成，训练完成后，解码器权重矩阵的列可视为学到的特征字典。

读出缩放（readout scaling） 指的是在将激活送入 SAE 之前，对激活向量施加对角缩放或线性变换，从而改变各维度在重建目标中的相对权重。这一操作等价于改变 SAE 所面对的“决策空间”几何：某些方向被放大，某些方向被压缩。读出条件数即该变换最大奇异值与最小奇异值之比，条件数越大，不同方向上的增益差异越剧烈。因此，读出缩放并非无关紧要的预处理，它会直接影响 SAE 优先恢复哪些方向、忽略哪些方向。

RC-DS方法：在不丢失信息的前提下移除奇异值增益

RC-DS的核心思路是利用读出规范化决策空间坐标，移除奇异值增益，同时保留决策空间中的有用信息。

关键数据：当因子在读出缩放之前生成时，在条件数为100的设定下，RC-DS将平均稀疏因子恢复率从0.506提升到0.913。对比基线是相同预算下的中心化logit训练。

研究者还实现了一个精确包装器（exact wrapper），能以数值精度复现RC-DS训练。这个设计的目的很明确：隔离训练几何的影响，而非引入额外信息。换言之，RC-DS的优势来自训练空间的几何结构，而不是模型看到了更多数据或参数。

条件数（condition number） 是矩阵最大奇异值与最小奇异值之比，用于衡量线性变换对不同方向缩放的不均匀程度。条件数为 1 时，所有方向被等比例缩放；条件数越大，某些方向被强烈放大而另一些被强烈压缩。在 SAE 训练中，高读出条件数会让重建误差由被放大的方向主导，导致模型优先拟合这些方向，而忽略被压缩方向上的稀疏因子。

RC-DS（readout-normalized decision-space coordinates） 的核心操作是：先对读出变换做奇异值分解，去除奇异值增益，只保留决定方向结构的正交或旋转部分，再在归一化后的决策空间坐标中训练 SAE。这样，训练目标不再被读出缩放人为扭曲，但又没有丢弃方向信息。若直接丢弃整个读出变换，则会丢失决策空间中的方向结构，因此 RC-DS 是在“保信息”和“去增益”之间取得的平衡。

CN-Logit（中心化 logit 训练） 是一种常见基线：对输出 logit 做中心化处理后直接训练 SAE。它与 RC-DS 的差别不在数据量或模型容量，而在于训练空间的几何结构。

神经网络策略与语言模型上的验证

RC-DS的效果不限于合成实验。

在神经网络策略（neural policies）中，RC-DS在测试预算下改善了平均logit重建。在三个固定的语言模型检查点上，RC-DS在全部18个任务-稀疏度设置中均取得更高的无增益重建均值；而中心化logit SAE在17个设置中更好地重建了输出logit。

这两个指标的分化值得注意。它提示我们：重建logit和恢复稀疏因子是不同目标，优化其中一个未必有利于另一个。

小标签头（small-label-head）对照实验进一步显示，更长的训练能将重建差距从0.0198缩小到0.0016，说明部分差异可以被训练充分性所弥合。

无增益重建（gain-free reconstruction） 指在去除读出缩放带来的奇异值增益后衡量的重建质量，即模型在归一化坐标系中恢复原始信号的能力。它反映的是 SAE 是否学到了数据本身的结构，而非是否迎合了被放大的方向。

Logit 重建则直接衡量 SAE 重建模型输出层 logit 的误差，它与下游预测行为直接相关。两者目标不同：无增益重建更接近稀疏因子恢复，而 logit 重建可能被高增益方向主导。因此，一个 SAE 在 logit 重建上更好，并不自动意味着它提取的稀疏特征更忠实于生成过程。

Neural policies（神经网络策略） 通常指强化学习中输出动作分布的神经网络，其输出层可类比为 logit。在这些模型上验证 RC-DS，说明该方法不局限于合成数据或纯语言模型，而是对广泛的激活读出结构具有适用性。

对可解释性研究的实际意义

这项工作的价值在于提供了一个信息保持的方法论工具。RC-DS让研究者能够分离并控制读出缩放对稀疏学习的贡献，而不是把它当作一个混杂变量。

研究中还通过独立的标签检测和引导（steering）测试，区分了重建效果与任务特定特征的有用性。这意味着：一个SAE在重建指标上表现好，不代表它提取的特征在下游任务中同样有用。

对实践者的启示是，在设计SAE训练流程时，需要同时考虑读出条件数、数据生成分布和训练坐标三个因素。忽略其中任何一个，都可能导致特征恢复效果远低于预期。