待验证50% 置信事实精确时间
稀疏混合专家（MoE）通过路由门控网络为每个输入token只挑选少数专家参与计算，使总参数量可以很大但每token激活参数很少。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
Meta开源816B MoE模型Muse Spark：1M上下文，开放权重新标杆
rss2026/10/16
涉及实体
相关事实
待验证MoE架构通过轻量级路由器决定每个输入token交由哪几位专家处理，主流实现中每个token通常只激活2到8个专家79% 相似待验证混合专家模型（MoE）中每个输入token只会被路由到其中2-4个专家处理，其余专家保持休眠77% 相似待验证MoE 模型包含多个独立的专家前馈网络块，每生成一个 token 只路由到少数几个专家，例如 256 个中的 8 个。76% 相似待验证典型MoE层由若干专家前馈网络和一个路由器组成，路由器只将每个token分配给得分最高的Top-K个专家75% 相似待验证Token Choice路由中，每个token从N个专家中选出得分最高的top-k个专家进行处理，天然保证每个token被至少一个专家处理，但无法控制各专家接收的token数量。72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1042342API
curl https://kongchang.com/api/v1/knowledge/claims/1042342MCP
get_claim(id=1042342)