概念Activation Patching / 激活值修补

激活修补

机制可解释性研究中的标准因果干预方法，通过将干净运行中特定层位置的激活值替换到被污染运行中，观察输出变化，从而定位模型内部信息处理的因果关键位置

核心事实

AUC值域为0.5到1.0，0.5代表随机猜测、1.0代表完美预测，不受样本类别不平衡影响

9月18日

干预实验将数字提示中答案位置的临时状态在五个不同深度复制到另一个数字提示中，观察最终动物评分跟随哪一个提示，该方法本质上是激活修补（Activation Patching）技术

待验证50%

AUC值域为0.5到1.0，0.5代表随机猜测、1.0代表完美预测，不受样本类别不平衡影响

激活修补由Meng等人在2022年的ROME论文中广泛推广，其原理是将一次运行中某层的激活值移植到另一次运行中观察输出变化，从而进行因果推断