待验证50% 置信权衡取舍精确时间

MoE模型中所有专家的权重仍需加载到显存中待命，因此尽管计算量接近49B密集模型，显存占用却接近完整1T模型的量级

1

来源数

50%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

Mistral Large 4发布：万亿参数MoE模型重返竞技场

涉及实体

相关事实

待验证MoE模型每个token只激活512个专家中的约10个，有效激活参数量约20-30B级别75% 相似待验证MoE 模型的显存占用仍与总参数量成正比，虽然算得快但模型文件本身仍然很大75% 相似待验证在MoE模型中稠密层参数量占比通常不到总参数的20%，但每个token都必须经过，因此需要更高精度保护70% 相似待验证MoE典型实现中模型会从数十个专家中选取Top-2进行激活，其余专家不参与本次推理计算70% 相似待验证MoE 模型每个 token 只被路由到少数几个专家进行计算，使总参数量大但激活参数量小69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/984131

API

curl https://kongchang.com/api/v1/knowledge/claims/984131

MCP

get_claim(id=984131)