待验证50% 置信事实精确时间

传统MoE负载均衡损失主要从训练稳定性出发，让专家使用更均匀。

1

来源数

50%

置信度

长期有效

时效性

2026/10/16

首次发现

来源

细粒度专家+共享专家：MoE路由探索的两难困境

涉及实体

负载均衡损失concept MoEconcept

相关事实

已验证专家负载不均衡是MoE最典型的训练难题，可能导致'专家崩溃'现象，通常引入辅助负载均衡损失或Token丢弃策略解决80% 相似待验证MoE 对训练稳定性和负载均衡有更高要求，且实际效果取决于路由机制的质量。79% 相似已验证MoE训练时通常需引入辅助损失强制负载均衡，否则会形成少数Expert富者愈富的马太效应导致大多数Expert退化为死代码79% 相似待验证MoE训练时需要额外的负载均衡损失来防止路由坍缩，DeepSeek-MoE采用了更细粒度的专家划分策略77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1041810

API

curl https://kongchang.com/api/v1/knowledge/claims/1041810

MCP

get_claim(id=1041810)