待验证50% 置信事实精确时间

MoE典型实现中模型会从数十个专家中选取Top-2进行激活，其余专家不参与本次推理计算

1

来源数

50%

置信度

长期有效

时效性

2026/10/3

首次发现

来源

Aleph Alpha开源Kolibri：78B参数MoE模型深度解析

涉及实体

相关事实

待验证MoE模型中不同专家权重分布差异较大，激进量化可能对某些专家造成不成比例的精度损失76% 相似待验证MoE的8选2配置意味着8个专家中每次只激活2个，实际计算量仅为密集模型的约四分之一74% 相似待验证MoE 模型每次推理时只激活一小部分专家子网络，Naive-N0.5-Flash 实际推理时只有约 5% 的参数在工作73% 相似待验证MoE 模型每个 token 只被路由到少数几个专家进行计算，使总参数量大但激活参数量小73% 相似已验证混合专家架构（MoE）在推理时仅激活约10%-30%的总参数量，显著降低单次推理的FLOPs和显存占用70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/970451

API

curl https://kongchang.com/api/v1/knowledge/claims/970451

MCP

get_claim(id=970451)