待验证50% 置信决策规则精确时间

在MoE模型中总参数量主要决定内存占用，每token激活参数量主要决定速度和成本

1

来源数

50%

置信度

长期有效

时效性

2026/8/10

首次发现

来源

总参数量已过时：读懂MoE模型的双数字时代

相关事实

待验证MoE模型在推理延迟和计算成本上往往优于同参数规模的Dense模型，但代价是需要更大显存加载全部专家权重80% 相似待验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量74% 相似待验证部署MOE模型时必须按总参数量而非激活参数量来估算显存需求，因为所有参数都需要在高速存储中随时可访问73% 相似待验证MoE模型所有专家参数都需驻留内存（即便不被激活），这也是三元量化对MoE格外重要的原因72% 相似待验证Dense架构中模型所有参数在每次推理时都参与计算，计算成本随参数规模线性增长，以Llama系列为代表72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/723988

API

curl https://kongchang.com/api/v1/knowledge/claims/723988

MCP

get_claim(id=723988)