待验证60% 置信事实时间未知

Gemma 4 26B MOE版本总参数量为25.2B，但推理时仅激活约3.8B参数

2

来源数

60%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30

来源

Gemma 4 Complete Guide: The Apache 2.0 Open-Source Agent Powerhouse

bilibiliAI全文总结

相关事实

待验证千问3.6的35B MOE模型每次只激活其中3B的参数75% 相似已验证Gemma 4的26B MOE模型采用混合专家架构，拥有260亿总参数但任意时刻仅约40亿参数处于激活状态75% 相似待验证小米MiMo采用混合专家（MoE）架构，总参数量为24.6B，每次推理仅激活约5.3B参数74% 相似待验证千问三235B MoE总参数量2350亿，但每次推理实际激活的参数约22B73% 相似待验证MoE模型中'35B'指总参数量，每个token只激活少量Expert（通常2-4个），实际计算量可能仅相当于6-7B的Dense模型73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/57144

API

curl https://kongchang.com/api/v1/knowledge/claims/57144

MCP

get_claim(id=57144)