[控场AI]
概念intervention attribution

干预归因

来自因果推断中的归因思想,衡量对某个内部变量施加一次特定干预后模型输出的一阶变化量,可近似为输出对该隐变量的偏导数

时间轴 (近 90 天)

10月14日

对于一大类响应函数,观察性的特征发现证据一般无法识别干预归因,这是一个结构性结论而非某个具体方法的缺陷。

待验证50%
10月14日

干预归因本身是可梯度估计的,可以用梯度信息近似干预特征对模型输出的影响,无需真实运行干预实验。

待验证50%
10月14日

论文在四组模型-SAE 配对上测量显示,探针归因与干预归因的量级比中位数从数十到数百不等,探针系统性高估了特征的干预效力。

待验证50%
10月14日

用干预归因挑出的特征集合,在留出提示上产生的绝对平均消融效应,大于相关性选择、秩检验选择和探针系数选择挑出的集合。

待验证50%
10月14日

梯度估计仅在干预幅度足够小、模型局部近似线性的条件下有效,对于大范围引导或非线性极强的响应函数,一阶近似可能失真。

待验证50%
10月14日

论文建议将干预归因确立为选择 SAE 特征用于干预的原则性目标,且这个目标可以通过梯度估计。

待验证50%
10月14日

论文给出的梯度分解把线性探针预测与真实干预归因之间的差距拆解开来,表明干预归因可梯度估计。

待验证50%

全部知识事实 (7)

来源文章