待验证50% 置信事实时间未知
In the Gemma 4 26B MOE model, the model contains 128 internal 'experts' but only 8 are activated per inference.
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/7/2
首次发现
有效期至：2026/9/30
来源
相关事实
已验证Gemma 4的26B MOE模型采用混合专家架构，拥有260亿总参数但任意时刻仅约40亿参数处于激活状态71% 相似待验证在MoE模型中每个token只激活少量Expert（通常2-4个，Top-K路由），实际计算量可能仅相当于6-7B的Dense模型68% 相似待验证MoE模型中'35B'指总参数量，每个token只激活少量Expert（通常2-4个），实际计算量可能仅相当于6-7B的Dense模型68% 相似待验证Kimi K2.7 Code采用384个专家的MoE架构，每个token选择8个专家加1个共享专家，实际计算量约为稠密模型的2.3%67% 相似待验证Qwen3.6 35B模型包含256个专家，每个Token仅激活8个路由专家和1个共享专家，实际推理时激活参数约为3B67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/57177API
curl https://kongchang.com/api/v1/knowledge/claims/57177MCP
get_claim(id=57177)