机制可解释性
AI安全领域近年兴起的研究方向，致力于逆向工程神经网络内部的算法结构，理解模型实际计算过程，区别于LIME、SHAP等黑盒解释方法，由Anthropic、DeepMind等机构主导推动
核心事实
时间轴 (近 90 天)
可解释性研究目前分为“机制可解释性”与“行为可解释性”两大方向，两者互补但都尚未成熟。
可解释性在此语境下指理解模型内部计算与输出行为之间因果关系的努力，基于神经元方向的分析属于机制可解释性的范畴。
机制可解释性试图从神经元、注意力头、激活向量等内部结构层面还原模型的计算过程，例如定位负责拒绝有害请求的特定方向或回路。
隐藏状态操控（hidden state steering）是机制可解释性研究中的因果干预方法，通过在隐藏表示空间中定位概念方向并沿该方向加减向量来放大或抑制因素编码强度。
隐藏状态操控实验为'模型内部编码了常见性、区分度等心理语言学因素'提供了因果证据，而非仅是相关性观察。
机制可解释性分析发现，同一道数学题的翻译版和本地化版，即使最终准确率接近，模型内部激活的推理轨迹也常常截然不同。
当前主流的「机制可解释性」通过探针、稀疏自编码器、电路分析等手段定位特定能力对应的神经元或子网络。
机制可解释性通过稀疏自编码器、电路分析等工具，已在小型模型中识别出'间接宾语识别''多义词消歧'等具体回路。
Shevlin赞赏DeepMind内部Neel Nanda实验室在机制可解释性方面的工作。
字典学习是指将模型内部高维激活向量分解为一组稀疏的、语义上可解释的原子特征的线性组合
还有 18 条时间轴事件
全部知识事实 (20)
线性探针是在模型激活值上训练的简单线性分类器，用于检测模型内部是否存在特定行为或概念
75%已验证机械可解释性研究旨在逆向工程神经网络的内部计算过程，理解模型如何得出结论而非仅观察结论本身
75%已验证机制可解释性试图理解神经网络内部每个神经元和每层连接编码了怎样的概念
75%已验证Anthropic的机械可解释性（Mechanistic Interpretability）研究试图在神经网络激活层面定位特定知识的存储位置
70%已验证Anthropic的稀疏自编码器研究已能将百万量级的可解释特征从模型激活中分离
65%待验证可解释性研究目前分为“机制可解释性”与“行为可解释性”两大方向，两者互补但都尚未成熟。
50%待验证可解释性在此语境下指理解模型内部计算与输出行为之间因果关系的努力，基于神经元方向的分析属于机制可解释性的范畴。
50%待验证机制可解释性试图从神经元、注意力头、激活向量等内部结构层面还原模型的计算过程，例如定位负责拒绝有害请求的特定方向或回路。
50%待验证隐藏状态操控实验为'模型内部编码了常见性、区分度等心理语言学因素'提供了因果证据，而非仅是相关性观察。
50%待验证隐藏状态操控（hidden state steering）是机制可解释性研究中的因果干预方法，通过在隐藏表示空间中定位概念方向并沿该方向加减向量来放大或抑制因素编码强度。
50%待验证机制可解释性分析发现，同一道数学题的翻译版和本地化版，即使最终准确率接近，模型内部激活的推理轨迹也常常截然不同。
50%待验证当前主流的「机制可解释性」通过探针、稀疏自编码器、电路分析等手段定位特定能力对应的神经元或子网络。
50%待验证机制可解释性通过稀疏自编码器、电路分析等工具，已在小型模型中识别出'间接宾语识别''多义词消歧'等具体回路。
50%待验证Shevlin赞赏DeepMind内部Neel Nanda实验室在机制可解释性方面的工作。
50%待验证字典学习是指将模型内部高维激活向量分解为一组稀疏的、语义上可解释的原子特征的线性组合
50%待验证注意力头的多任务复用现象是当前机制可解释性领域的核心未解问题之一
50%待验证机制可解释性的代表性工作包括对GPT-2中间接目标机制（IOI task）的完整电路还原
50%待验证机制可解释性是可解释性AI研究的子领域，目标是从神经网络内部电路层面理解模型为何做出特定判断，Neel Nanda和Chris Olah是该领域奠基性人物
50%待验证机制可解释性研究发现模型内部存在可识别的特征，对应现实概念，如Anthropic对Claude的金门大桥特征研究
50%待验证Anthropic的'机械可解释性'（mechanistic interpretability）研究方向试图从电路层面逆向工程模型行为
50%