概念mechanistic interpretability / 机械可解释性
机制可解释性
AI安全领域近年兴起的研究方向，致力于逆向工程神经网络内部的算法结构，理解模型实际计算过程，区别于LIME、SHAP等黑盒解释方法，由Anthropic、DeepMind等机构主导推动
核心事实
时间轴 (近 90 天)
9月8日
研究通过因果干预方法定位证据整合发生在模型内部网络的后期层级
待验证50%
8月27日
与传统可解释性方法（如特征重要性、显著图）不同，机制可解释性追求对模型内部计算的完整逆向
待验证50%
8月27日
机制可解释性入门通常需要同时具备线性代数、深度学习基础以及实验编程能力
待验证50%
8月27日
机制可解释性入门可从小模型（如 GPT-2 small）的可解释性分析做起，再逐步挑战更复杂的机制
待验证50%
8月27日
在高门槛的前沿领域，社群化学习往往比单打独斗更高效
待验证50%
8月27日
机制可解释性的许多练习需要动手做实验，如对注意力头做消融（ablation）观察模型行为变化
待验证50%
7月16日
机制可解释性试图理解神经网络内部每个神经元和每层连接编码了怎样的概念
已验证75%
全部知识事实 (7)
已验证
机制可解释性试图理解神经网络内部每个神经元和每层连接编码了怎样的概念
75%待验证研究通过因果干预方法定位证据整合发生在模型内部网络的后期层级
50%待验证机制可解释性入门通常需要同时具备线性代数、深度学习基础以及实验编程能力
50%待验证机制可解释性入门可从小模型（如 GPT-2 small）的可解释性分析做起，再逐步挑战更复杂的机制
50%待验证在高门槛的前沿领域，社群化学习往往比单打独斗更高效
50%待验证机制可解释性的许多练习需要动手做实验，如对注意力头做消融（ablation）观察模型行为变化
50%待验证与传统可解释性方法（如特征重要性、显著图）不同，机制可解释性追求对模型内部计算的完整逆向
50%