已过期60% 置信事实时间未知

Google的Switch Transformer使用辅助负载均衡损失（Auxiliary Load Balancing Loss）来解决MoE专家负载不均衡问题

2

来源数

60%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30(已过期)

来源

微软Tutel：MoE模型加速库深度解析，支持FP4/FP8低精度计算

githubmicrosoft

相关事实

待验证MoE 通过辅助负载均衡损失（Auxiliary Load Balancing Loss）来缓解专家坍塌问题73% 相似待验证Switch Transformer的原始论文中论述了引入辅助损失函数来强制均匀分配专家的设计62% 相似待验证现代 MoE 实现通过辅助损失函数解决专家崩溃/负载均衡问题61% 相似待验证MoE架构存在专家坍塌（Expert Collapse）现象，研究者引入辅助损失函数来强制分散路由选择58% 相似待验证Switch Transformer将每个Token的专家选择简化为Top-1，并引入辅助损失函数防止Token涌向少数热门专家58% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/61137

API

curl https://kongchang.com/api/v1/knowledge/claims/61137

MCP

get_claim(id=61137)