LoRA秩不必统一：模型合并新方法提升多域精度

模型合并（Model Merging）能让多个独立微调的专家模型无需重训就整合成一个统一模型。但常规做法要求所有专家使用相同的LoRA秩，这相当于把各领域的秩选择强行捆绑在一起——尽管每个领域都有各自最优的秩。一项新研究证明，这种耦合是合并方法的属性，而非合并本身的必然要求。

统一秩约束从何而来

标准流程里，所有专家在相同LoRA秩下训练，合并时自然沿用同一秩。这看似合理，却忽略了一个事实：不同领域对低秩适配的需求差异很大。数学推理可能需要较高秩来捕捉复杂模式，指令跟随或许在较低秩下就能表现良好。强制统一，意味着某些专家被迫在次优配置下工作。

研究团队在三个领域（数学、指令跟随、多语言）上训练了36个专家，覆盖四种秩和三种模型规模，然后用六种合并方法在统一秩与各领域自有最优秩两种设置下进行对比。这组实验设计直接检验了“秩必须统一”这一隐含假设。

LoRA（Low-Rank Adaptation） 是一种参数高效微调技术，它冻结预训练模型的原权重，在Transformer的线性层旁注入两个低秩矩阵A和B，通过训练这两个小矩阵来适配下游任务。LoRA的“秩”r决定了这两个矩阵的维度（即A为d×r，B为r×d），r越小，可训练参数越少，但表达能力也受限；r越大，适配能力越强，但可能过拟合且合并时引入更多噪声。不同任务对秩的需求不同：复杂推理任务通常需要较高秩来捕捉细粒度模式，而简单分类或风格迁移任务在低秩下即可达到最优。因此，为每个专家独立选择秩是合理的，但传统合并流程默认所有专家使用相同秩，这源于合并算法（如平均、TIES）在设计时假设输入适配器具有相同结构。

非统一秩的收益与风险

实验结果显示，给专家分配不同秩，对平均合并和基于效用的选择方法没有任何损失，反而带来最高1.8个百分点的多域精度提升。但冲突消解类方法表现不一致，最多可能损失4个百分点。这说明非统一秩并非万能，合并算法的选择至关重要。

据研究分析，这一分化有简单原因：合并过程只保留池化谱成分中的固定份额，而按大小选择成分的方法会丢弃许多本可降低损失的成分。更糟的是，它们倾向于丢弃同一个专家——指令适配器的奇异值最小，因此几乎被完全丢弃，导致IFEval指标下降16到25个百分点。

冲突消解类合并方法（如TIES-Merging、DARE等）旨在解决多个微调模型合并时的参数冲突问题。TIES的核心步骤包括：修剪（Trim）小幅参数、选举（Elect）符号方向、合并（Merge）一致部分。这些方法通常基于参数幅度（绝对值大小）来判断重要性，并丢弃或缩放较小幅度的参数。然而，当专家使用不同秩时，不同专家的奇异值分布差异显著，按幅度选择会系统性偏向奇异值较大的专家，而忽略奇异值较小但可能对特定任务关键的专家（如指令跟随适配器）。这种偏差导致某些专家被过度丢弃，从而引发性能下降。

按损失效应选择成分

替代方案是按成分对损失的影响来选择，而非按大小。这样做能保留全部三个专家，并且在8倍秩范围内精度几乎持平（波动0.7个百分点，而TIES方法在4B规模下波动6.7个百分点）。换言之，只要合并算子不按幅度选择，秩就可以针对每个专家独立选择。

这一发现对实践者有直接意义：不必再为所有专家统一秩而牺牲各领域的最优配置。选择合并方法时，应优先考虑那些基于损失效应而非谱大小的算子。对于需要多领域能力的场景，按专家分配秩不仅可行，还能带来可观的精度收益。

损失效应（loss effect） 指合并过程中某个参数成分对整体损失函数的贡献程度，通常通过梯度或Hessian信息近似估计。与按参数幅度选择不同，按损失效应选择会保留那些即使幅度小但对降低损失至关重要的成分。例如，指令跟随适配器可能奇异值较小，但其对IFEval指标的损失影响很大，因此按损失效应选择能避免将其丢弃。在实际操作中，可以通过在验证集上计算每个成分的移除导致的损失变化来近似损失效应，或使用基于Fisher信息的方法。这种方法计算成本略高，但能更公平地对待不同专家，尤其适用于非统一秩场景。

对模型合并实践的启示

这项研究澄清了一个长期被忽视的约束：统一秩不是合并的必要条件，而是特定合并方法的副产品。当使用平均或效用选择时，非统一秩无害且有益；而冲突消解方法则需要谨慎评估，因为它们可能系统性地丢弃某些专家。

从工程角度看，这意味着可以在训练阶段为每个领域独立选择最优秩，再通过合适的合并算子整合。这降低了统一秩带来的妥协，也为多专家系统的秩配置提供了更大自由度。未来合并方法的设计，或许应把“不按幅度选择成分”作为一条原则，以避免对特定专家的系统性偏见。