待验证50% 置信事实精确时间
在 MoE 架构中，激活参数决定算力与速度，总参数决定内存，因此 2B 的激活量并不会让 14.5 GB 的 Q4_K_M 文件变小。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证MoE模型采用稀疏激活，Qwen 3.5 122B总参数122B但每次推理仅激活约10B，需将全部参数加载进内存，对内存容量极度敏感75% 相似已验证Q4_K_M 采用混合精度，部分关键权重以 6bit 存储，其余以 4bit 存储，整体平均约 4.5bit74% 相似待验证MoE模型每次只读取激活的部分参数，速度比同量级稠密模型快得多，例如GLM 5.3 Flash每token仅读约30GB70% 相似待验证Qwen3系列中有一个总参数量2.4T、激活参数约95B的MoE模型，模型文件下载需约5TB存储空间70% 相似待验证MoE模型虽然计算量小，但整个模型仍需加载到内存中，因此对内存总量要求不低，但对内存带宽压力因每次只读取激活参数而大幅降低70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1029964API
curl https://kongchang.com/api/v1/knowledge/claims/1029964MCP
get_claim(id=1029964)