细粒度专家+共享专家：MoE路由探索的两难困境

当MoE架构走向"既要又要"

混合专家（MoE）模型已经成为大语言模型扩展参数规模的核心路径。从早期的稀疏门控设计，到近年来的细粒度专家切分（fine-grained expert segmentation），再到共享专家（shared experts）的引入，架构演进的方向似乎很明确：让模型在固定激活比例下拥有更强的表达能力。

但一篇题为《Rethinking Routing Exploration in Modern Mixture-of-Experts》的研究指出了一个被忽视的矛盾——这两个设计选择放在一起时，可能互相拆台。

两个设计，一个矛盾

要理解这个矛盾，需要先拆开看两个机制各自在做什么。

细粒度专家切分将每个专家拆成更小的单元，在总激活参数量不变的前提下，让每个token可以组合更多专家。比如原来从8个专家中选2个，现在变成从64个专家中选8个——组合空间从C(8,2)=28种暴增到C(64,8)≈44亿种。路由空间呈组合式膨胀，模型理论上获得了更强的表达能力。

共享专家则是另一条路线：设置一部分专家对所有token都激活，不参与路由选择。它的作用是承载通用知识，减轻路由专家的"通用性负担"，让路由专家能更专注于差异化的特征。

单独看，两个设计都合理。但论文发现，它们组合在一起时产生了一个"探索困境"（exploration dilemma）。

稀疏门控与激活参数量是理解MoE扩展逻辑的基础。传统稠密Transformer在每次前向传播中会激活全部参数；而MoE层通过门控网络（router）为每个token只选择少数专家，因此模型可以拥有远大于单次计算量的总参数量。这里的关键指标是“激活参数量”与“总参数量”的分离：总参数量决定模型容量上限，激活参数量决定单token的计算成本。细粒度专家切分并不是增加总参数量，而是在固定激活预算下改变专家的粒度和组合方式，让同一预算覆盖更多、更细的专家单元。因此，它带来的收益高度依赖路由器能否在更大的组合空间中做出有效选择。

共享专家如何"杀死"探索

问题的核心在于：共享专家会降低token表示的多样性。

共享专家对所有token输出相同的变换，这相当于在每层中对token表示施加了一个"共性投影"。经过多层累积，不同token之间的表示差异被压缩，路由网络接收到的输入变得更加同质化。

而路由决策本质上是一个基于token表示的分类问题。当token表示趋于相似时，路由器倾向于反复选择同一批专家，探索新专家组合的动力下降。

这就产生了矛盾：细粒度切分恰恰需要更多探索才能发挥优势——因为组合空间太大了，如果路由器只在一个很小的子空间里打转，那多出来的专家和组合方式就形同虚设。共享专家削弱了探索，细粒度切分需要探索，两者互相拉扯。

论文的核心判断是：细粒度切分提供的额外表达能力，在共享专家的压制下，可能并没有被真正兑现。

MirrorMoE：收缩探索空间而非鼓励探索

面对这个困境，论文提出了MirrorMoE。

直觉上，既然问题出在"探索不够"，解决方案应该是鼓励路由器多尝试新组合。但MirrorMoE走了一条相反的路：与其让路由器在巨大的空间中低效地探索，不如主动把不必要的专家压掉，缩小探索空间。

具体来说，MirrorMoE对每个token进行自适应抑制——根据token自身的特征，动态地屏蔽掉那些不太可能被选中的专家，让路由器在一个更紧凑、更相关的候选集中做决策。

这个思路的巧妙之处在于：它不与共享专家对抗，而是接受"token表示同质化"这个前提，然后针对性地收缩路由空间。探索空间的缩小，使得有效的路由决策密度反而提高了。

论文报告称，MirrorMoE在不同模型规模上都带来了一致的性能提升。

自适应专家抑制可以理解为一种动态的候选集剪枝。与静态地减少专家数量不同，MirrorMoE根据每个token的表示特征，在路由前预测哪些专家对该token不太可能有用，并将这些专家的logit或概率置为极低值。这样，路由器实际面对的候选专家数量减少，决策空间从原本巨大的组合集合收缩到与当前token更相关的子集。其代价是可能误屏蔽有用专家，因此抑制策略需要足够轻量且可学习。收益则来自决策密度提升：在更小的候选集中，路由器更容易区分专家差异，避免在大量无关专家上浪费概率质量。

对MoE架构设计的启示

这项研究值得关注的地方，不在于MirrorMoE这个具体方法本身，而在于它揭示了一个更普遍的问题：架构组件的交互效应，往往比单个组件的独立效果更重要。

共享专家和细粒度切分各自都是经过验证的有效设计，但它们的组合并非简单的"1+1≥2"。当多个设计选择在同一模型中叠加时，可能产生意料之外的干扰。这提示架构搜索和设计不能只做逐项消融实验，还需要关注组件之间的耦合关系。

另一个值得思考的点是"探索vs利用"在MoE路由中的具象化。传统的MoE负载均衡损失试图让专家使用更均匀，但这更多是从训练稳定性出发的工程手段。MirrorMoE从信息论角度重新审视了这个问题：路由器的探索行为受token表示多样性制约，而token表示多样性又受架构设计影响——这是一条比负载均衡更深层的因果链。

对于正在设计或调优MoE架构的研究者和工程师，这篇论文提供了一个有价值的诊断视角：当你发现细粒度切分没有带来预期收益时，也许问题不在切分本身，而在共享专家对路由探索的隐性压制。

背景补充

路由网络的输入是token表示，而token表示在深层网络中会经过多次残差更新和归一化。共享专家对所有token施加相同或近似相同的变换，相当于在每层注入一个与token内容无关的公共分量。这个公共分量本身有助于稳定训练和承载通用知识，但它会提高不同token表示之间的相似度。当表示相似度升高时，路由器基于表示做分类的决策边界会变得模糊，多个token更容易被映射到同一批专家。于是，专家利用率下降、路由多样性收缩，细粒度切分原本依赖的“多专家组合探索”被削弱。这个机制并不依赖显式的正则项，而是由架构结构自然产生。