稀疏自编码器
机制可解释性研究中的核心技术，通过将神经网络某层的激活向量分解为稀疏的可解释特征，帮助研究者识别模型内部对应人类可理解概念的表征结构
核心事实
时间轴 (近 90 天)
单个神经元往往具有多义性（polysemanticity），即同时对多种不相关概念产生响应，因此后续研究转向稀疏自编码器（SAE）等方法提取更纯净的特征方向。
稀疏自编码器（SAE）通过重建损失把模型激活分解为过完备的稀疏特征字典，但只是对已训练模型的事后近似，重建目标与下游任务目标不一致。
2024年，Anthropic使用稀疏自编码器从其Claude 3 Sonnet模型中提取了数百万个独立「特征」，其中约五分之四经检查并未被任何单个神经元紧密追踪。
当前可解释性主流路径包括事后归因方法（如注意力可视化、SHAP）与机制可解释性（如稀疏自编码器、电路分析），后者试图在神经元激活层面定位可识别的「特征电路」。
SAE的字典优化问题是非凸的，存在大量局部最优解，不同随机种子会导致字典原子在概念空间中旋转或重新组合。
ConSDL的提出并非要完全否定SAE，而是指出了线性编码器这一设计选择的局限性。
在四个视觉和语言设置的真实基准上，ConSDL相比六个SAE基线方法平均将字典一致性提升了17.6%，系数一致性提升了35.9%。
标准SAE使用单次线性编码器将激活映射为稀疏系数，而单次前向传播得到的系数相对于逐样本优化是次优的。
SAE训练出的字典在不同随机种子下差异显著，影响了分析的可靠性和可复现性。
在新范式下，SAE 的稀疏约束被视为一种人类偏好偏置，而非网络内部真实结构的唯一正确分解。
还有 23 条时间轴事件
全部知识事实 (20)
稀疏自编码器（SAE）是尝试解开叠加、提取单义特征的主要技术方案之一
80%已验证稀疏自编码器（SAE）的思路是将模型某一层的激活值投影到更高维的稀疏空间，通过约束每次激活时只有少量特征被激活，迫使模型学习出更解耦的单义特征
75%已验证稀疏自编码器（SAE）在重建损失之外引入稀疏性正则化，将激活向量编码为过完备的稀疏表示
75%待验证单个神经元往往具有多义性（polysemanticity），即同时对多种不相关概念产生响应，因此后续研究转向稀疏自编码器（SAE）等方法提取更纯净的特征方向。
50%待验证稀疏自编码器（SAE）通过重建损失把模型激活分解为过完备的稀疏特征字典，但只是对已训练模型的事后近似，重建目标与下游任务目标不一致。
50%待验证2024年，Anthropic使用稀疏自编码器从其Claude 3 Sonnet模型中提取了数百万个独立「特征」，其中约五分之四经检查并未被任何单个神经元紧密追踪。
50%待验证当前可解释性主流路径包括事后归因方法（如注意力可视化、SHAP）与机制可解释性（如稀疏自编码器、电路分析），后者试图在神经元激活层面定位可识别的「特征电路」。
50%待验证ConSDL的提出并非要完全否定SAE，而是指出了线性编码器这一设计选择的局限性。
50%待验证SAE训练出的字典在不同随机种子下差异显著，影响了分析的可靠性和可复现性。
50%待验证标准SAE使用单次线性编码器将激活映射为稀疏系数，而单次前向传播得到的系数相对于逐样本优化是次优的。
50%待验证SAE的字典优化问题是非凸的，存在大量局部最优解，不同随机种子会导致字典原子在概念空间中旋转或重新组合。
50%待验证在四个视觉和语言设置的真实基准上，ConSDL相比六个SAE基线方法平均将字典一致性提升了17.6%，系数一致性提升了35.9%。
50%待验证在新范式下，SAE 的稀疏约束被视为一种人类偏好偏置，而非网络内部真实结构的唯一正确分解。
50%待验证2024年，Anthropic使用稀疏自编码器在Claude Sonnet中提取了3400万个特征，并定位到具体概念对应的内部回路。
50%待验证经过SAE解缠拆出来的特征，其响应宽度反而比原始神经元粗了好几倍，意味着SAE可能制造了数学假象。
50%待验证Neel Nanda强调SAE在残差流上依然不可替代。
50%待验证Anthropic和OpenAI等实验室将稀疏自编码器（SAE）作为主流方案，用于解缠神经网络中的叠加特征。
50%待验证读出缩放指的是在将激活送入SAE之前，对激活向量施加对角缩放或线性变换，从而改变各维度在重建目标中的相对权重。
50%待验证当训练过程恢复了因子被生成时的那个空间时，稀疏因子的恢复效果最好。
50%待验证在固定读出条件数的情况下，改变生成分布会反转哪种训练坐标恢复已知因子的效果最佳。
50%