概念
Multi-Router
Multi-View MoE的子模块，聚合多个独立初始化路由器的sigmoid分数，利用差异化偏好扩大候选信号多样性而不增加激活专家数。
时间轴 (近 90 天)
10月30日
Multi-View MoE 通过聚合多个独立初始化路由器的 sigmoid 分数来改进专家选择，在不增加激活专家数的前提下扩大候选信号的多样性。
待验证50%
10月30日
仅使用 Multi-Router 子模块即可带来 0.6 个百分点的平均分增益。
待验证50%
Multi-View MoE的子模块，聚合多个独立初始化路由器的sigmoid分数，利用差异化偏好扩大候选信号多样性而不增加激活专家数。
Multi-View MoE 通过聚合多个独立初始化路由器的 sigmoid 分数来改进专家选择，在不增加激活专家数的前提下扩大候选信号的多样性。
仅使用 Multi-Router 子模块即可带来 0.6 个百分点的平均分增益。