待验证60% 置信观点精确时间

对于 198B 总参数的稀疏 MoE 模型，实际激活参数量可能仅为 20-40B 量级

1

来源数

60%

置信度

中期 (~90 天)

时效性

2026/5/29

首次发现

有效期至：2026/8/27

来源

Step 3.7 Flash：198B稀疏MoE多模态模型深度解析

twitterlmsysorg2026/5/29

涉及实体

Step 3.7 Flashmodel

相关事实

待验证Tiny-MoE模型总参数量约200M，但每个token激活的参数仅约90M83% 相似待验证MoE模型中'35B'指总参数量，每个token只激活少量Expert（通常2-4个），实际计算量可能仅相当于6-7B的Dense模型81% 相似待验证千问三235B MoE总参数量2350亿，但每次推理实际激活的参数约22B75% 相似待验证分析推测该模型是2到4万亿参数规模的MoE模型，每个Token仅激活约1500亿参数73% 相似待验证MoE模型采用稀疏激活，Qwen 3.5 122B总参数122B但每次推理仅激活约10B，需将全部参数加载进内存，对内存容量极度敏感70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/607

API

curl https://kongchang.com/api/v1/knowledge/claims/607

MCP

get_claim(id=607)