待验证60% 置信事实精确时间
Qwen3系列中有一个总参数量2.4T、激活参数约95B的MoE模型,模型文件下载需约5TB存储空间
2
来源数
60%
置信度
中期 (~90 天)
时效性
2026/8/19
首次发现
有效期至:2026/11/17
来源
相关事实
待验证Qwen 3.8(270亿参数,Q4量化)每token需读取约17GB内存75% 相似已验证QLoRA将基础模型权重以4bit NF4格式量化存储,使单卡微调130亿参数模型成为可能74% 相似已验证Q4_K_M 采用混合精度,部分关键权重以 6bit 存储,其余以 4bit 存储,整体平均约 4.5bit70% 相似待验证在 MoE 架构中,激活参数决定算力与速度,总参数决定内存,因此 2B 的激活量并不会让 14.5 GB 的 Q4_K_M 文件变小。70% 相似待验证MoE模型采用稀疏激活,Qwen 3.5 122B总参数122B但每次推理仅激活约10B,需将全部参数加载进内存,对内存容量极度敏感68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/775276API
curl https://kongchang.com/api/v1/knowledge/claims/775276MCP
get_claim(id=775276)