概念SAE / 稀疏自编码器
Sparse Autoencoders
在模型激活上训练过完备稀疏字典的激活读取方法，编码器将高维残差流映射为稀疏特征，每个特征对应可命名概念，可输出多token自然语言描述
核心事实
时间轴 (近 90 天)
10月16日
SAE仍面临挑战：对字典大小、稀疏强度等超参数敏感，提取的特征未必覆盖模型全部计算，且有时只是把多义性转移到另一层表示中，并未在因果层面彻底消除。
待验证50%
10月12日
被评估的激活读取工具分为单 token 读取器和多 token 读取器：单 token 侧包含 Logit lens、J-lens、R-lens、Tuned lens；多 token 侧包含 Natural Language Autoencoders、Sparse Autoencoders、Patchscopes、Template lens、Oracle Lens。
待验证50%
9月1日
Anthropic 团队利用稀疏自编码器(SAE)从模型激活中提取了数以百万计的可解释特征
待验证50%
全部知识事实 (4)
已验证
稀疏自编码器（SAE）是尝试解开叠加、提取单义特征的主要技术方案之一
80%待验证SAE仍面临挑战：对字典大小、稀疏强度等超参数敏感，提取的特征未必覆盖模型全部计算，且有时只是把多义性转移到另一层表示中，并未在因果层面彻底消除。
50%待验证被评估的激活读取工具分为单 token 读取器和多 token 读取器：单 token 侧包含 Logit lens、J-lens、R-lens、Tuned lens；多 token 侧包含 Natural Language Autoencoders、Sparse Autoencoders、Patchscopes、Template lens、Oracle Lens。
50%待验证Anthropic 团队利用稀疏自编码器(SAE)从模型激活中提取了数以百万计的可解释特征
50%