[控场AI]
· 4 分钟阅读· 2,284 字

CoPre-MoE:多模态持续指令微调中的专家合并与遗忘抑制

CoPre-MoE:多模态持续指令微调中的专家合并与遗忘抑制

CoPre-MoE 通过合并重叠专家与分解私有专家,在持续指令微调中兼顾抗遗忘与参数效率。

文章围绕多模态大语言模型持续指令微调中的"学新不忘旧"矛盾展开,指出主流 MoE 方法为每个任务分配独立专家,虽避免参数覆写,却导致跨任务功能冗余与专家数量线性增长。CoPre-MoE 提出两阶段压缩:先将功能重叠的专家选择性合并进固定容量的共享专家池,再把剩余任务专家分解为共享投影基与紧凑任务核心归入私有池。路由层面冻结历史检索键并对新键施加正交正则,实现无需任务标签的动态专家组合。实验称其在性能更优的同时大幅降低参数开销,但共享池容量与正则强度等权衡仍需进一步验证。

多模态持续指令微调的核心矛盾

多模态大语言模型需要在不断学习新能力的同时,不遗忘旧任务——这正是持续指令微调要解决的问题。混合专家(MoE)架构通过专家特化与组合来缓解任务干扰,看起来是一条顺理成章的路径。但现有基于 MoE 的方法普遍采用"每个任务分配独立专家"的策略:虽然避免了共享参数被覆写,代价却是跨任务的严重冗余和参数的线性增长。

论文指出的一个典型例子很能说明问题:ScienceQA 和 TextVQA 两个任务都需要定位图像中的相关区域,功能上存在明显重叠,但各自训练的专家却互不知情,重复学习着相似的能力。

CoPre-MoE 论文来源截图

混合专家(MoE)架构的核心思想是让多个专家网络各自负责一部分输入空间,再由路由器根据输入动态选择或加权组合专家输出。相比稠密模型,MoE 在推理时只激活部分参数,因此能在总参数量增大的同时控制计算量。在持续学习场景中,MoE 的吸引力在于"参数隔离":为新任务开辟新专家,理论上可以避免新任务梯度覆写旧任务参数,从而缓解灾难性遗忘。然而这种"任务即专家"的朴素做法忽略了任务之间的功能共性,专家数量随任务数增长而线性膨胀,冗余与路由不稳定随之而来。

现有 MoE 方案的参数膨胀困境

渐进式扩展专家池的做法在持续学习场景下问题尤为突出。任务越多,专家数量线性增加,其中大量专家承担着重叠的功能。这不是简单的存储浪费——冗余专家之间的路由竞争还会让推理时的专家选择变得不稳定。

一个自然的想法是事后合并相似专家,但合并本身可能破坏各任务特化的能力,反而诱发遗忘。CoPre-MoE 的设计正是围绕这一张力展开:既要压缩冗余,又不能触碰已学到的知识。

灾难性遗忘(catastrophic forgetting)指神经网络在学习新任务时,新任务的梯度更新会覆盖旧任务所依赖的权重,导致旧任务性能急剧下降。持续学习的主流缓解思路包括正则化(约束重要参数的变动)、回放(重放旧数据)和参数隔离(为不同任务分配独立子网络)。MoE 属于参数隔离路线,但隔离越彻底,冗余越大。正交正则则是一种常用的约束手段:通过惩罚新旧参数或表示之间的内积,使它们趋向于彼此正交,从而在参数空间中为新知识腾出互不干扰的方向。

CoPre-MoE 的两阶段专家压缩架构

CoPre-MoE 采用共享-私有专家架构,对每个新到来的任务分两步处理。

共享专家池:功能重叠的量化与合并

第一阶段,模型先为当前任务学习一个任务特定的 MoE,完整捕获其专有能力。随后评估该任务专家与历史专家之间的功能重叠程度,将重叠部分选择性地合并进一个固定容量的通用专家池。这里的关键在于"选择性"——只有功能确实重叠的专家才被合并,避免粗暴压缩损伤任务特化性。通用池容量固定,意味着参数规模不会随任务数持续膨胀。

私有专家池:投影基与紧凑核心的分解

第二阶段,剩余的任务特定专家被分解为共享投影基和紧凑的任务特定核心,归入私有专家池。这种因式分解的思路是把专家权重中跨任务共有的部分抽出来共享,只保留真正任务独有的低维核心。相比直接保存完整专家,参数量显著降低,同时任务特定的表达能力得以保留。

低秩分解是将一个较大的权重矩阵近似表示为两个较小矩阵乘积的技术,典型形式为 W ≈ U·V,其中 U 和 V 的秩远小于原矩阵维度。在持续学习中,若多个任务的专家权重共享同一组"基"(如 U),而各自只保留低维的"系数"(如 V),就能在显著压缩参数量的同时保留任务特定的表达能力。这种共享基加私有核心的结构,本质上把跨任务共性从任务独有信息中剥离出来,是平衡参数效率与特化能力的常用手段。

路由设计:冻结历史键 + 正交正则

防止遗忘的另一半功夫落在路由器上。CoPre-MoE 为每个专家配对一个可学习的检索键。持续更新过程中,历史任务对应的键保持冻结,不被新任务的梯度改动;新加入的键则施加正交性惩罚,约束其与历史键尽量正交。

这个设计的效果是:历史专家对路由的"可寻址性"不变,新任务学到的是正交方向上的新键,新旧知识在路由空间中彼此隔离。推理阶段,路由根据输入动态组合共享池与私有池的专家,且不需要测试时的任务标签——模型自己判断该调用哪些专家。

路由(routing)是 MoE 中决定每个输入激活哪些专家的机制,通常由路由器对输入编码后与各专家的"键"或"原型"计算相似度,再经 softmax 或 Top-K 选择得到权重。当专家集合随任务动态扩展时,若旧专家的键被新任务训练改动,原本指向旧专家的输入可能被错误路由到新专家,造成性能退化。冻结历史键相当于固定旧知识的"地址",而正交惩罚则让新键落在与历史键不相干的方向上,二者结合可在不依赖任务标签的情况下实现稳定的动态专家组合。

实验结论与设计取舍

论文的结论是 CoPre-MoE 在取得更优性能的同时大幅降低了参数开销。从方法设计来看,它的贡献不在单一技巧,而在于把"合并冗余"和"抑制遗忘"这两个通常相互冲突的目标拆解到了不同模块:专家池负责压缩,路由键负责隔离。

值得留意的是其中的权衡。共享池容量固定,任务规模继续增长时,通用专家池能否容纳足够的共性能力,是一个需要实证检验的问题;正交正则的强度也会影响新任务学习与旧知识保持之间的平衡。原文未披露具体实验设置与数据集规模,这些细节有待论文全文进一步确认。

#CoPre-MoE#多模态持续指令微调#混合专家MoE#灾难性遗忘#持续学习#专家合并#参数冗余
分享:

相关推荐