多视图MoE：让每个路由器重塑专家计算

稀疏混合专家（MoE）模型通过为每个token只激活少量专家来扩展参数容量，而专家选择的质量直接决定了固定激活预算下的模型能力。传统做法依赖单一路由器打分排序，但一项新的研究指出，这种排序与专家实际效用之间存在明显错位，并提出Multi-View MoE，用多路由器和路由偏好复用同时改进选择与计算。

Multi-View MoE论文标题截图

单路由器的局限：选出来的专家未必最有用

研究团队通过对所有专家进行密集评估发现，单一路由器的排序与专家效用评估排序之间一致性较弱，在中层和深层尤为明显。这意味着路由器“看好”的专家，未必是真正能提升模型表现的专家。

要获得更丰富的选择信号，代价并不低。基于专家内部激活的选择需要先做一次预计算；而把多个完整表示分别送入同一专家处理，则会重复该专家的计算量。在固定专家预算的约束下，这两条路都会侵蚀MoE的效率优势。

混合专家（MoE）的基本机制：MoE 层由一组并行的前馈网络（即“专家”）和一个路由器组成。对每个 token，路由器输出各专家的分数，通常取 Top-K（如 Top-2）激活分数最高的专家，仅这些专家的输出被加权求和后回传。因此总参数量可以远大于每个 token 实际参与计算的参数量，形成“参数容量大、激活计算少”的稀疏结构。所谓“固定激活预算”，指每个 token 激活的专家数 K 和专家隐藏维度固定，从而专家 FLOPs 与 all-to-all 通信量基本恒定。正是在这个预算约束下，路由器“选谁”成为决定模型质量的关键变量——专家再多，若选错，等于浪费了稀疏性带来的容量红利。

秩相关性（rank correlation）：衡量两组排序一致性的统计量，常用 Spearman 等级相关系数，取值 -1 到 1，越接近 1 表示两种打分对同一批专家的相对顺序越一致。论文用它比较“路由器分数排序”与“逐专家密集评估得到的效用排序”。若秩相关性低，说明路由器偏好与实际增益脱节。需要注意的是，秩相关性只反映顺序一致性，不反映分数绝对值的校准程度，因此它可以作为诊断路由质量的指标，但不能直接等同于模型精度。

Multi-View MoE的两个核心设计

多路由器：聚合独立初始化的偏好

Multi-View MoE的Multi-Router子模块聚合来自多个独立初始化路由器的sigmoid分数。训练过程中，这些路由器发展出高度差异化的专家偏好，使得被某一个路由器强烈偏好的专家，或被多个路由器共同支持的专家，都能进入选择范围。这种机制本质上是在不增加激活专家数的前提下，扩大了候选信号的多样性。

路由偏好复用：让选择信号参与计算

仅有更好的选择还不够。Multi-View进一步利用每个被选专家在不同路由器上的相对分数，把学习到的潜在视图混合进该专家的输入，从而把路由偏好同时用于选择和计算。换句话说，路由器不只决定“谁上场”，还影响“怎么打”。

关键在于效率没有被牺牲：每个被选专家仍然只执行一次前向传播，激活专家数量、专家FLOPs和all-to-all通信量均保持不变。

Sigmoid 路由与 Softmax 路由的区别：传统 MoE 多用 Softmax 路由器，各专家分数归一化为概率，天然存在专家间竞争，分数之和为 1。Sigmoid 路由则对每个专家独立打分，不做跨专家归一化，允许“多个专家同时被高度偏好”，也更便于在训练中引入负载均衡辅助损失。Multi-View MoE 采用 sigmoid 分数，正是为了让多个独立初始化的路由器能够各自形成鲜明且不必互斥的偏好分布；聚合时再对各路由器的分数做组合，从而把“被某一路由器强烈偏好”和“被多个路由器共同支持”两类信号都纳入候选。相对分数则是在同一 token 下对各专家分数做比较得到的比例关系，可被视为一种轻量的“视图”权重，用来调制专家输入而几乎不增加计算。

实验数据：九任务平均提升1.18个百分点

在一个24层、10B-A1B的模型上，使用708B token训练后，完整的Multi-View MoE在九个下游任务的平均分上比基线提升了1.18个百分点。仅使用Multi-Router子模块即可带来0.6个百分点的增益。

更值得关注的是路由器分数与评估专家效用之间的秩相关性改善：全局相对提升8.1%，而在单路由器对齐度最低的层中，相对提升约为58%。这说明多路由器机制恰恰在单路由器最“失灵”的地方补上了短板。

受控混合干预实验进一步显示，模型所利用的输入差异同时取决于专家和token两方面因素——路由偏好并非静态标签，而是与具体输入动态耦合。

效率与效果的平衡点

Multi-View MoE的思路对MoE架构设计有一个普遍启示：提升专家选择质量未必需要付出额外计算。通过复用路由偏好，选择信号和计算信号被统一到同一套机制中，避免了预计算或重复前向传播的开销。

对于需要在固定激活预算下压榨模型能力的场景，这种“零额外FLOPs”的改进路径具有直接的工程价值。不过，论文目前只在10B-A1B规模上验证，更大模型和更多路由器数量下的收益是否保持，仍有待观察。

常见问题

Multi-View MoE会增加推理成本吗？ 不会。每个被选专家仍只执行一次前向传播，激活专家数、专家FLOPs和all-to-all通信量均与基线保持一致。

多路由器与传统的专家选择有什么区别？ 传统方法依赖单一路由器的排序，多路由器聚合多个独立初始化路由器的sigmoid分数，利用它们差异化偏好扩大候选范围，并提升路由器分数与专家效用的相关性。

该方法在哪些层收益最明显？ 在中层和深层收益更突出，尤其是单路由器对齐度最低的层，秩相关性相对提升约58%。