待验证50% 置信事实精确时间
传统 MoE 训练中为每个专家设定容量上限(capacity factor),一旦某专家收到的 token 超过容量,多余的 token 就会被丢弃
1
来源数
50%
置信度
长期有效
时效性
2026/9/14
首次发现
来源
涉及实体
相关事实
已验证MoE训练时通常需引入辅助损失强制负载均衡,否则会形成少数Expert富者愈富的马太效应导致大多数Expert退化为死代码74% 相似待验证MoE的核心权衡在于训练时需消耗更多GPU内存(所有专家权重需加载),但推理时FLOPs消耗可大幅降低70% 相似已验证专家负载不均衡是MoE最典型的训练难题,可能导致'专家崩溃'现象,通常引入辅助负载均衡损失或Token丢弃策略解决69% 相似待验证MoE架构在处理每个输入时由路由机制动态选择最相关的少数专家处理,通常采用Top-K策略(通常K=2),训练时引入负载均衡损失函数防止负载不均68% 相似待验证MoE训练时需要额外的负载均衡损失来防止路由坍缩,DeepSeek-MoE采用了更细粒度的专家划分策略67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/920895API
curl https://kongchang.com/api/v1/knowledge/claims/920895MCP
get_claim(id=920895)