稀疏自编码器
机制可解释性研究中的核心技术，通过将神经网络某层的激活向量分解为稀疏的可解释特征，帮助研究者识别模型内部对应人类可理解概念的表征结构
核心事实
时间轴 (近 90 天)
2024年，Anthropic使用稀疏自编码器在Claude Sonnet中提取了3400万个特征，并定位到具体概念对应的内部回路。
经过SAE解缠拆出来的特征，其响应宽度反而比原始神经元粗了好几倍，意味着SAE可能制造了数学假象。
Anthropic和OpenAI等实验室将稀疏自编码器（SAE）作为主流方案，用于解缠神经网络中的叠加特征。
Neel Nanda强调SAE在残差流上依然不可替代。
读出缩放指的是在将激活送入SAE之前，对激活向量施加对角缩放或线性变换，从而改变各维度在重建目标中的相对权重。
当训练过程恢复了因子被生成时的那个空间时，稀疏因子的恢复效果最好。
在设计SAE训练流程时，需要同时考虑读出条件数、数据生成分布和训练坐标三个因素。忽略其中任何一个，都可能导致特征恢复效果远低于预期。
一个SAE在重建指标上表现好，不代表它提取的特征在下游任务中同样有用。
在固定读出条件数的情况下，改变生成分布会反转哪种训练坐标恢复已知因子的效果最佳。
在大模型可解释性研究中，SAE 被用来把多义、稠密的神经元激活分解为大量单义、可读的隐特征，典型工作包括 Anthropic 的「字典学习」和 OpenAI 的「稀疏电路」尝试。
还有 13 条时间轴事件
全部知识事实 (20)
稀疏自编码器（SAE）在重建损失之外引入稀疏性正则化，将激活向量编码为过完备的稀疏表示
75%待验证2024年，Anthropic使用稀疏自编码器在Claude Sonnet中提取了3400万个特征，并定位到具体概念对应的内部回路。
50%待验证经过SAE解缠拆出来的特征，其响应宽度反而比原始神经元粗了好几倍，意味着SAE可能制造了数学假象。
50%待验证Neel Nanda强调SAE在残差流上依然不可替代。
50%待验证Anthropic和OpenAI等实验室将稀疏自编码器（SAE）作为主流方案，用于解缠神经网络中的叠加特征。
50%待验证在设计SAE训练流程时，需要同时考虑读出条件数、数据生成分布和训练坐标三个因素。忽略其中任何一个，都可能导致特征恢复效果远低于预期。
50%待验证一个SAE在重建指标上表现好，不代表它提取的特征在下游任务中同样有用。
50%待验证当训练过程恢复了因子被生成时的那个空间时，稀疏因子的恢复效果最好。
50%待验证在固定读出条件数的情况下，改变生成分布会反转哪种训练坐标恢复已知因子的效果最佳。
50%待验证读出缩放指的是在将激活送入SAE之前，对激活向量施加对角缩放或线性变换，从而改变各维度在重建目标中的相对权重。
50%待验证评估 SAE 质量时应区分发现层面的可读性与重建保真度，以及干预层面的因果效力，两者并不自动一致，需要分别测量。
50%待验证在大模型可解释性研究中，SAE 被用来把多义、稠密的神经元激活分解为大量单义、可读的隐特征，典型工作包括 Anthropic 的「字典学习」和 OpenAI 的「稀疏电路」尝试。
50%待验证对于一大类响应函数，观察性的特征发现证据一般无法识别干预归因，这是一个结构性结论而非某个具体方法的缺陷。
50%待验证论文在四组模型-SAE 配对上测量显示，探针归因与干预归因的量级比中位数从数十到数百不等，探针系统性高估了特征的干预效力。
50%待验证稀疏自编码器是一种无监督学习结构，通过将高维模型激活向量压缩到过完备的稀疏隐空间再重建原始激活，迫使每个隐变量只对少数输入模式敏感。
50%待验证论文建议将干预归因确立为选择 SAE 特征用于干预的原则性目标，且这个目标可以通过梯度估计。
50%待验证机制可解释性通过稀疏自编码器、电路分析等工具，已在小型模型中识别出'间接宾语识别''多义词消歧'等具体回路。
50%待验证Transcoder是机制可解释性领域的特征分解工具，专门针对MLP层训练输入到稀疏隐层再到输出的小型网络替代原始MLP
50%待验证稀疏自编码器（SAE）是一种无监督学习工具，被训练用来将神经网络的激活向量分解为一组稀疏的、可解释的特征方向
50%待验证2023年Anthropic研究团队发表论文，使用稀疏自编码器技术将Claude模型内部神经元激活分解为数百万个可解释的概念特征
50%