稀疏自编码器
机制可解释性研究中的核心技术，通过将神经网络某层的激活向量分解为稀疏的可解释特征，帮助研究者识别模型内部对应人类可理解概念的表征结构
Core Facts
Timeline (last 90 days)
Transcoder是机制可解释性领域的特征分解工具，专门针对MLP层训练输入到稀疏隐层再到输出的小型网络替代原始MLP
稀疏自编码器（SAE）是一种无监督学习工具，被训练用来将神经网络的激活向量分解为一组稀疏的、可解释的特征方向
2023年Anthropic研究团队发表论文，使用稀疏自编码器技术将Claude模型内部神经元激活分解为数百万个可解释的概念特征
Anthropic研究团队在2023-2024年通过稀疏自编码器成功识别出大语言模型内部对应欺骗、谄媚等概念的特征向量
2024年，Anthropic机械可解释性团队使用稀疏自编码器从Claude模型中提取出数百万个可解释的概念单元
Anthropic在2023—2024年在可解释性研究中通过稀疏自编码器取得里程碑式进展
「超多义性」（Superposition）指单个神经元往往同时编码多个不相关的概念，研究者正在开发稀疏自编码器等工具来分解这种叠加态
All Facts (7)
Transcoder是机制可解释性领域的特征分解工具，专门针对MLP层训练输入到稀疏隐层再到输出的小型网络替代原始MLP
50%Unverified稀疏自编码器（SAE）是一种无监督学习工具，被训练用来将神经网络的激活向量分解为一组稀疏的、可解释的特征方向
50%Unverified2023年Anthropic研究团队发表论文，使用稀疏自编码器技术将Claude模型内部神经元激活分解为数百万个可解释的概念特征
50%UnverifiedAnthropic研究团队在2023-2024年通过稀疏自编码器成功识别出大语言模型内部对应欺骗、谄媚等概念的特征向量
50%UnverifiedAnthropic在2023—2024年在可解释性研究中通过稀疏自编码器取得里程碑式进展
50%Unverified「超多义性」（Superposition）指单个神经元往往同时编码多个不相关的概念，研究者正在开发稀疏自编码器等工具来分解这种叠加态
50%Partially Verified2024年，Anthropic机械可解释性团队使用稀疏自编码器从Claude模型中提取出数百万个可解释的概念单元
75%