概念linear response map
线性响应图
借鉴物理学格林函数思想的神经网络分析工具,通过一阶线性近似刻画模型组件间的因果传递关系,用于量化任务情境对注意力头交互模式的影响
时间轴 (近 90 天)
10月12日
研究者为每个提示构建激活编辑前后的两张线性响应图,用于根据较早注意力头的测量变化预测较晚注意力头的响应
待验证50%
10月12日
条件化响应图相比两张图的平均值,在Gemma-2-9B上将均方预测误差降低了53.6%
待验证50%
10月12日
线性响应图借鉴物理学和神经科学中格林函数思想,用一阶线性近似预测下游组件对早期组件扰动的响应变化量
待验证50%
10月12日
线性响应框架的普适性仍需在更多模型和任务上验证
待验证50%