任务情境如何重塑语言模型中组件的角色分工

共享注意力头之谜

大语言模型存在一个被反复观察到的现象：同一批注意力头（attention heads）会在不同任务中被反复复用。然而，识别出这些被共享的组件，并不能解释它们在每个任务里究竟做了什么不同的事。换句话说，我们知道哪些零件被重复使用，却不清楚它们在不同场景下扮演的角色是否相同。

这项研究从神经科学中获得灵感——人脑中共享的脑区会因任务不同而产生不同的交互模式。研究者将这种思路迁移到语言模型，提出用"网络视角"来理解模型内部计算：不要孤立地看单个组件，而要看它们在特定任务情境下如何相互连接、相互影响。

注意力头（attention head）是Transformer架构中多头自注意力机制的基本单元。每个注意力头独立学习一组查询（Query）、键（Key）、值（Value）投影矩阵，负责捕捉序列中不同位置之间的依赖关系。大型语言模型通常在每一层部署数十个注意力头，层数也多达数十层，因此整个模型中注意力头的总数可达数百乃至数千个。

早期可解释性研究发现，某些注意力头承担了相对固定的"功能角色"，例如专门追踪主语-动词一致性、复制前文词汇或检索实体属性。然而近年来，研究者在跨任务分析中反复发现同一批头在不相关的任务上都会被激活，这与"功能专一化"的直觉相悖。这一现象被称为注意力头的"多任务复用"，是当前机制可解释性（mechanistic interpretability）领域的核心未解问题之一。

用图事实做可控实验

为了比较固定的模型组件在不同任务中的行为，研究采用了"图事实"（graph facts）作为统一的实验载体。所谓图事实，就是明确指定哪些有向连接存在的陈述语句。通过使用结构相同、仅内容不同的图事实，研究者得以在严格可控的条件下，观察同一组组件对不同输入的反应差异。

实验引入了两个关键测量维度：

• 影响力（influence）：干预（intervention）如何改变注意力头以及后续层的激活状态。
• 重要性（importance）：干预如何最终影响模型给出的答案。

这种双指标设计把"内部机制变化"和"外部输出变化"区分开来，让分析既能看到组件内部如何传导信号，也能衡量这种传导对最终结果的实际贡献。

五个开源模型上的一致发现

研究覆盖了五个开源权重模型，横跨四个模型家族，参数规模从15亿到140亿不等。结果显示：任务的改变会重新分配这些模型中组件的影响力。这意味着共享组件的角色并非固定，而是随任务情境动态调整。

在 Gemma-2-9B 和 Qwen3-14B 上，研究者进行了更精细的激活编辑实验。他们修改早期的内部激活向量，在书面指令保持不变的前提下，成功切换了模型"读取"的是哪一条事实。随后，同一批注意力头会对不同的图事实做出响应，并以不同方式影响后续组件。

这个结果颇具启发性：仅仅改动一个早期激活状态，就能让模型在相同指令下关注完全不同的信息，而承担这一切的还是那同一组共享的头。角色的切换，发生在参数之上、情境之中。

线性响应图的预测能力

为了量化这种任务依赖的交互，研究者为每个提示构建了两张线性响应图（linear response map）——一张在激活编辑之前，一张在之后。每张图都能根据较早注意力头的测量变化，预测较晚注意力头的响应。

关键验证来自一个独立的事实性干预：对应条件下的响应图，相比两张图的平均值，在 Gemma 上将均方预测误差降低了 53.6%，在 Qwen 上降低了 5.0%。两个模型间的差距悬殊，说明不同架构对任务情境的敏感程度存在显著差异，Gemma-2-9B 的组件角色切换更加"干净"、更可被线性预测，而 Qwen3-14B 的情况则复杂得多。

线性响应图（linear response map）是一种借鉴物理学和神经科学中"格林函数"思想的分析工具：给定对某个早期组件的微小扰动，用一阶线性近似来预测下游组件的响应变化量。其核心假设是，在局部邻域内，组件间的因果传递关系可以用一个矩阵来近似刻画。这种方法的优势在于可直接从少量干预实验中估计出整张"影响力网络"的结构，而无需对每对组件逐一进行穷举测试。

均方预测误差（MSE）的降低幅度反映了条件化响应图相较于无条件平均图的额外预测价值。Gemma-2-9B上53.6%的降幅意味着任务情境对该模型组件交互的塑造非常"清晰"，线性假设在此成立较好；而Qwen3-14B仅5.0%的降幅则暗示其内部交互可能存在更强的非线性或更弥散的任务编码方式，线性响应框架对其解释力有限。

对可解释性与模型干预的意义

这些发现共同指向一个结论：任务情境同时改变了两件事——共享组件会响应哪些图事实，以及它们的输出如何影响后续计算。单纯的"组件识别"远不足以刻画模型行为，必须引入情境化、网络化的分析框架。

从实践角度看，这项工作有两层价值。其一，网络视角可能帮助解释一个长期困扰研究者的问题：模型如何用同一套共享参数执行截然不同的计算。其二，对任务依赖影响力的测量，可以为模型干预提供指导——在修改某一特定行为的同时，尽量不破坏其他行为。这对模型编辑、安全对齐和行为控制都有潜在应用价值。

当然，Gemma 与 Qwen 之间 53.6% 对 5.0% 的巨大落差也提醒我们，这类线性响应框架的普适性仍需在更多模型和任务上验证。但方法论本身——把注意力头当作可测量的网络节点而非孤立零件——为机制可解释性研究提供了一条值得深入的路径。