待验证50% 置信事实精确时间
典型 MoE 配置如 Mixtral 8x7B，每层有 8 个专家，每个 token 只被路由到其中 2 个，单次激活参数量约为总量的三分之一（加上共享权重）。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
已验证Mixtral 8x7B模型拥有8个专家，每个Token只激活2个，总参数量达到47B，但单次推理的计算量仅相当于一个13B参数的稠密模型72% 相似待验证在MoE模型中每个token只激活少量Expert（通常2-4个，Top-K路由），实际计算量可能仅相当于6-7B的Dense模型72% 相似待验证MoE架构中Mixtral 8x7B模型总参数46.7B,但每个token仅激活约12.9B参数(2个专家),推理成本接近13B参数的稠密模型,性能可媲美70B级别67% 相似待验证Mixtral 8x7B的实际激活参数量仅为总参数量的约1/463% 相似待验证智能路由方案通过 9/12（75%），Opus 通过 11/12（92%）；三个失手中有两个单元测试和一个 QA 任务被路由给 Claude Haiku 5.5，回答超出 8000 token 上限61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1013002API
curl https://kongchang.com/api/v1/knowledge/claims/1013002MCP
get_claim(id=1013002)