待验证50% 置信事实精确时间

该项目采用稀疏混合专家（MoE）架构，74B总参数中每个token仅激活约9B参数，激活比例约12%。

1

来源数

50%

置信度

长期有效

时效性

2026/10/15

首次发现

来源

74B大模型塞进24GB显存：一张4090本地免费跑

bilibilijeffzhengye2026/10/15

涉及实体

爱今天开源Demo灯3.5 74Bproduct MoEconcept

相关事实

待验证MoE模型每个token只激活512个专家中的约10个，有效激活参数量约20-30B级别77% 相似待验证M2.5采用混合专家架构（Mixture of Experts，MoE），每次推理只有10B参数真正参与计算，总参数量可能远超10B74% 相似已验证混合专家架构（MoE）在推理时仅激活约10%-30%的总参数量，显著降低单次推理的FLOPs和显存占用73% 相似已验证MoE架构每次推理时通常仅激活总参数的10%-20%71% 相似待验证MoE的8选2配置意味着8个专家中每次只激活2个，实际计算量仅为密集模型的约四分之一70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1037458

API

curl https://kongchang.com/api/v1/knowledge/claims/1037458

MCP

get_claim(id=1037458)