待验证50% 置信基准精确时间
改用Q2K量化后单个专家从3.1MB压到1.9MB，完整权重从111GB降到75GB
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至：2027/1/3
来源
涉及实体
相关事实
待验证Q3_K_M将每个权重压缩至约3bit，27B模型权重体积可降至约12～13GB78% 相似已验证即便用 4-bit 量化把权重压缩到 214GB，仍远超单张 48GB 显卡的容量73% 相似待验证一个1T参数模型以BF16精度存储需要约2TB显存，INT4量化压缩也需500GB以上72% 相似部分验证QLoRA论文验证了NF4量化配合LoRA微调可在65B参数模型上将显存需求从780GB降至48GB，同时保持接近全精度微调的性能72% 相似待验证140GB的FP16 70B模型经4-bit量化后可压缩至约35-40GB，通信开销降低约75%；2-bit量化可压缩至约18GB但带来精度损失72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/978658API
curl https://kongchang.com/api/v1/knowledge/claims/978658MCP
get_claim(id=978658)