[控场AI]
概念linear response map

线性响应图

借鉴物理学格林函数思想的神经网络分析工具,通过一阶线性近似刻画模型组件间的因果传递关系,用于量化任务情境对注意力头交互模式的影响

时间轴 (近 90 天)

10月12日

研究者为每个提示构建激活编辑前后的两张线性响应图,用于根据较早注意力头的测量变化预测较晚注意力头的响应

待验证50%
10月12日

条件化响应图相比两张图的平均值,在Gemma-2-9B上将均方预测误差降低了53.6%

待验证50%
10月12日

线性响应图借鉴物理学和神经科学中格林函数思想,用一阶线性近似预测下游组件对早期组件扰动的响应变化量

待验证50%
10月12日

线性响应框架的普适性仍需在更多模型和任务上验证

待验证50%

全部知识事实 (4)

来源文章