待验证50% 置信事实精确时间

MoE架构在长上下文场景下存在能力衰减问题，因路由机制在长序列下决策不稳定，连DeepSeek也未完全解决

1

来源数

50%

置信度

长期有效

时效性

2026/7/10

首次发现

来源

腾讯混元3开源：295B MoE架构全解析，256K上下文成最大短板

bilibili鲲鹏Talk2026/7/6

相关事实

待验证对 MoE 模型的低比特量化容易造成路由偏差，进而导致某些能力维度出现突然退化72% 相似待验证混合专家架构（MoE）的应用打破了参数规模与推理速度之间的传统权衡70% 相似待验证MoE架构面临负载均衡挑战，研究者通常引入辅助损失函数缓解专家坍缩问题，DeepSeek等团队探索了无辅助损失均衡策略68% 相似待验证MoE模型的Expert路由阶段中，不同线程被分派到不同Expert会导致严重的Warp分歧问题68% 相似待验证简单堆砌上下文长度并不能线性提升长任务性能，因存在中间丢失问题67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/465618

API

curl https://kongchang.com/api/v1/knowledge/claims/465618

MCP

get_claim(id=465618)