Unverified90% confidenceFactTime unknown
对于MoE模型，路由层中两个专家得分极为接近时，微小数值差异可能翻转专家选择结果，导致分布式训练崩溃
1
Sources
90%
Confidence
Long-term
Relevance
5/31/2026
First Seen
Sources
Cursor Composer 2分布式RL训练技术解析
bilibili全球播客频道
Related Entities
Related Claims
UnverifiedMoE训练时通常需引入辅助损失强制负载均衡，否则会形成少数Expert富者愈富的马太效应导致大多数Expert退化为死代码74% similarUnverified对齐训练优化的是模型在已知场景下的统计行为，而非建立可形式化验证的安全边界，面对训练分布之外的罕见指令组合或角色扮演框架时可能失效73% similarUnverified参数量相似的情况下，训练数据质量分布的差异往往比架构差异更能决定特定场景的表现上限73% similarUnverified行为克隆存在分布偏移（Distribution Shift）问题：训练时策略只接触专家轨迹覆盖的状态分布，部署时微小偏差累积会使实际访问的状态分布逐渐偏离训练分布72% similarUnverified专家负载不均衡是MoE最典型的训练难题，可能导致'专家崩溃'现象，通常引入辅助负载均衡损失或Token丢弃策略解决72% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/6595API
curl https://kongchang.com/api/v1/knowledge/claims/6595MCP
get_claim(id=6595)