待验证60% 置信事实精确时间

该模型每层有512个专家，但每个token只激活其中10个，真正参与计算的权重约6B

2

来源数

60%

置信度

长期有效

时效性

2026/10/5

首次发现

来源

RTX3090极限挑战125B大模型：三级缓存让推理提速5倍

涉及实体

Flash Nextmodel MoEconcept

相关事实

待验证MoE的8选2配置意味着8个专家中每次只激活2个，实际计算量仅为密集模型的约四分之一74% 相似待验证MoE模型每个token只激活512个专家中的约10个，有效激活参数量约20-30B级别72% 相似待验证M2.5采用混合专家架构（Mixture of Experts，MoE），每次推理只有10B参数真正参与计算，总参数量可能远超10B68% 相似待验证服务同等数量的并发用户，超大模型所需的GPU集群规模可能是同等智能水平小模型的5至10倍67% 相似待验证以1000×1000权重矩阵为例，若LoRA的秩设为8，只需训练约1.6万个参数而非100万个原始参数67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/978653

API

curl https://kongchang.com/api/v1/knowledge/claims/978653

MCP

get_claim(id=978653)