微调如何重塑大模型内部机制：表征变化与因果重要性的解耦研究

微调改变了什么，我们其实并不清楚

微调（Fine-tuning）已经成为将大语言模型（LLM）适配到各类下游任务的主流手段。无论是分类、生成还是推理任务，开发者往往只需在预训练模型基础上做少量参数更新，就能获得可观的性能提升。但一个长期被忽视的问题是：微调究竟如何重塑了模型的内部运作机制？我们看到了性能提升，却对背后发生的表征变化知之甚少。

这篇来自 arXiv 的研究（arXiv:2609.21113）正是针对这一盲区展开。作者系统地考察了微调对 LLM 内部表征的影响，包括注意力模式（attention patterns）和逐层激活（layer-wise activations），并进一步追问：这些变化是否与真正驱动任务性能的关键组件相关联？

表征变化 ≠ 因果重要性

研究的核心方法是借助 EAP（Edge Attribution Patching）来识别任务相关组件——比如具体的注意力头（attention heads）和 logit 层级的激活。这类因果归因方法能够定位到底哪些内部组件真正对任务表现起决定作用，而不仅仅是“看起来变化很大”的部分。

研究的一个关键发现是：EAP 识别出的关键组件集中在特定的若干层中，这说明模型在内化任务特定行为时存在一定程度的“功能定位”（functional localisation）。换句话说，任务能力并非均匀分散在整个网络里，而是相对聚焦。

更耐人寻味的结论在于二者的解耦关系：这些因果关键组件在各层的分布，与微调过程中表征变化最剧烈的层，基本上是不相关的。也就是说，那些在微调时“动得最多”的层，未必就是真正对任务性能起因果作用的层。表面上的表征漂移，与实际的功能重要性并不重合。

这一发现对可解释性研究具有直接意义：单纯观测激活或注意力权重的变化幅度，可能会误导我们对模型工作机制的判断。要理解微调到底改变了什么，必须引入因果层面的分析工具。

EAP（Edge Attribution Patching）是一种基于激活修补（activation patching）思路发展而来的因果归因技术。其基本思想是：在模型处理某一输入时，将特定边（即组件之间的信息传递路径）的激活值替换为来自另一输入（通常是"干净"与"损坏"的对照输入）的对应值，再观察输出的变化幅度。变化越大，说明该边对任务输出的因果贡献越显著。相比直接观测注意力权重或激活值的绝对大小，EAP 关注的是"删除这条路径后性能会怎样"，因此能更准确地区分哪些组件是真正"功能性"的，哪些只是与任务有相关性但并非必要。这类方法属于机制可解释性（mechanistic interpretability）领域的核心工具，近年来被广泛用于定位"归纳头"（induction heads）、"事实检索"电路等特定功能模块。

组件重叠不等于能力迁移

研究还探讨了跨任务之间的关系，得出了一个反直觉的结论。直觉上我们可能认为，如果两个任务共享了大量相同的关键组件，那么在一个任务上微调应当有助于另一个任务——即所谓的正向迁移。

但实验表明，当两个任务性质本质不同时（例如分类任务 vs. 生成任务），EAP 识别出的组件即便存在重叠，也不会带来跨任务的性能迁移。

更值得警惕的是负面效应：当两个任务在关键组件上高度重叠时，在一个任务上进行微调，反而可能导致另一个任务的性能退化。这意味着共享组件成为了“争抢资源”的战场——一个任务对某些注意力头或激活的重新塑造，会破坏另一个任务对同一组件的依赖。

这里的"组件重叠"指的是：用 EAP 分别为两个不同任务识别出各自的高重要性注意力头和激活节点后，两份列表中出现交集的比例。直觉上，共享关键组件意味着两个任务依赖相似的内部计算路径，因此在一个任务上的微调（对这些共享组件的权重调整）理应对另一个任务也有帮助。然而这一推论忽略了一个关键细节：同一个注意力头可以在不同任务中承担截然不同的"子功能"——分类任务可能需要它聚焦于句子的情感极性，而生成任务则需要它捕捉语义连贯性。微调对该头的权重修改是针对前者优化的，并不会自动对后者产生正向效果，反而可能破坏原有编码。这也解释了为何"组件重叠"在任务性质差异大时，反而成为负迁移的风险信号而非正迁移的保证。

对实践者意味着什么

这项研究虽然是基础机制层面的探索，但对实际的模型开发有几点启发。

其一，多任务微调需要更谨慎。如果目标任务在因果组件上高度重叠但性质迥异，同时微调可能带来相互干扰而非协同增益。评估任务组件的重叠情况，或许能帮助预判潜在的性能冲突。

其二，可解释性分析要区分“变化”与“重要”。观察哪些层在微调后变化最大，并不能直接告诉你哪些层对任务最关键。因果归因方法（如 EAP）提供了一个更可靠的视角。

其三，功能定位的存在为参数高效微调、模块化编辑等方向提供了理论支撑——既然任务能力集中在特定层的特定组件，那么针对性地干预这些组件，可能比全参数微调更高效。

结语

这篇工作把“微调改变了什么”这个模糊问题，拆解成了两个可以独立测量的维度：内部表征的变化程度，以及组件的因果重要性。它揭示了二者并非同一回事，也提醒我们在跨任务微调时留意组件重叠可能带来的负面干扰。对于希望深入理解 LLM 内部机制、或在实践中做多任务适配的研究者与工程师来说，这些发现都值得纳入考量。