待验证50% 置信事实精确时间

2.4万亿参数模型在BF16精度下考虑KV Cache和激活值后实际约需1.4-1.5TB显存

1

来源数

50%

置信度

长期有效

时效性

2026/7/23

首次发现

来源

Qwen3.8深度解读：2.4万亿MoE参数凭什么自称第二

相关事实

已验证Qwen3-235B总参数量为2350亿，采用MoE架构，每次前向推理实际激活的参数量约22B73% 相似待验证千问三235B MoE总参数量2350亿，但每次推理实际激活的参数约22B73% 相似待验证MoE模型中'35B'指总参数量，每个token只激活少量Expert（通常2-4个），实际计算量可能仅相当于6-7B的Dense模型71% 相似已验证模型参数量越大，对量化的鲁棒性越强，使得70B级别模型在4-bit量化后仍能保持接近FP16的性能69% 相似待验证万象模型提供了 1.3B 和 14B 参数量的不同规模版本69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/602483

API

curl https://kongchang.com/api/v1/knowledge/claims/602483

MCP

get_claim(id=602483)