待验证50% 置信事实精确时间
MoE架构在推理时仅激活2.4T参数中的一小部分(通常10-20%)
1
来源数
50%
置信度
长期有效
时效性
2026/9/6
首次发现
来源
涉及实体
相关事实
待验证MoE 模型每次推理仅激活总参数量的一小部分,Qwen3 Max 每次推理激活量可能为总量的1/8至1/1679% 相似待验证MoE模型中'35B'指总参数量,每个token只激活少量Expert(通常2-4个),实际计算量可能仅相当于6-7B的Dense模型77% 相似待验证千问3.6的35B MOE模型每次只激活其中3B的参数74% 相似待验证小米MiMo采用混合专家(MoE)架构,总参数量为24.6B,每次推理仅激活约5.3B参数72% 相似待验证在MoE模型中每个token只激活少量Expert(通常2-4个,Top-K路由),实际计算量可能仅相当于6-7B的Dense模型69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/863363API
curl https://kongchang.com/api/v1/knowledge/claims/863363MCP
get_claim(id=863363)