Multi-View MoE
一种改进稀疏混合专家（MoE）模型路由质量的方法，通过聚合多个独立初始化路由器的偏好并将路由偏好复用于专家输入，在不增加激活计算量的前提下提升专家选择与计算效果。
时间轴 (近 90 天)
Multi-View MoE 通过聚合多个独立初始化路由器的 sigmoid 分数来改进专家选择，在不增加激活专家数的前提下扩大候选信号的多样性。
Multi-View MoE 进一步利用每个被选专家在不同路由器上的相对分数，将路由偏好混合进专家输入，从而同时用于选择和计算。
在 24 层、10B-A1B 的模型上使用 708B token 训练后，完整 Multi-View MoE 在九个下游任务的平均分上比基线提升 1.18 个百分点。
Multi-View MoE 使路由器分数与专家效用之间的秩相关性全局相对提升 8.1%，在单路由器对齐度最低的层中相对提升约 58%。
Multi-View MoE 不会增加推理成本：每个被选专家仍只执行一次前向传播，激活专家数、专家 FLOPs 和 all-to-all 通信量均与基线保持一致。
Multi-View MoE 目前只在 10B-A1B 规模上验证，更大模型和更多路由器数量下的收益是否保持仍有待观察。
受控混合干预实验显示，模型所利用的输入差异同时取决于专家和 token 两方面因素，路由偏好并非静态标签而是与具体输入动态耦合。
全部知识事实 (7)
Multi-View MoE 通过聚合多个独立初始化路由器的 sigmoid 分数来改进专家选择，在不增加激活专家数的前提下扩大候选信号的多样性。
50%待验证Multi-View MoE 进一步利用每个被选专家在不同路由器上的相对分数，将路由偏好混合进专家输入，从而同时用于选择和计算。
50%待验证在 24 层、10B-A1B 的模型上使用 708B token 训练后，完整 Multi-View MoE 在九个下游任务的平均分上比基线提升 1.18 个百分点。
50%待验证Multi-View MoE 使路由器分数与专家效用之间的秩相关性全局相对提升 8.1%，在单路由器对齐度最低的层中相对提升约 58%。
50%待验证Multi-View MoE 不会增加推理成本：每个被选专家仍只执行一次前向传播，激活专家数、专家 FLOPs 和 all-to-all 通信量均与基线保持一致。
50%待验证Multi-View MoE 目前只在 10B-A1B 规模上验证，更大模型和更多路由器数量下的收益是否保持仍有待观察。
50%待验证受控混合干预实验显示，模型所利用的输入差异同时取决于专家和 token 两方面因素，路由偏好并非静态标签而是与具体输入动态耦合。
50%