待验证50% 置信基准精确时间

MoE架构中Mixtral 8x7B模型总参数46.7B,但每个token仅激活约12.9B参数(2个专家),推理成本接近13B参数的稠密模型,性能可媲美70B级别

1

来源数

50%

置信度

长期有效

时效性

2026/9/6

首次发现

来源

GLM-5.3 Flash：智谱轻量模型如何抢占低成本推理赛道

涉及实体

Mixtral 8x7Bmodel MoEconcept

相关事实

待验证Mistral AI的Mixtral 8x7B采用MoE架构，总参数量约47B，但每次推理实际激活的参数仅约13B77% 相似待验证在MoE模型中每个token只激活少量Expert（通常2-4个，Top-K路由），实际计算量可能仅相当于6-7B的Dense模型77% 相似已验证Mixtral 8x7B模型拥有8个专家，每个Token只激活2个，总参数量达到47B，但单次推理的计算量仅相当于一个13B参数的稠密模型76% 相似待验证MoE模型中'35B'指总参数量，每个token只激活少量Expert（通常2-4个），实际计算量可能仅相当于6-7B的Dense模型75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/864754

API

curl https://kongchang.com/api/v1/knowledge/claims/864754

MCP

get_claim(id=864754)