待验证50% 置信基准精确时间
同一小模型三档精度对应三档内存：全精度约1.6~1.8GB，半精度约1~1.2GB，动态量化后约600~750MB
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/25
首次发现
有效期至：2026/12/24
来源
涉及实体
相关事实
已验证以 float16 精度为基准每个参数约占 2 字节，7B 模型约需 14GB 显存/内存，70B 模型约需 140GB76% 相似待验证该模型加载时先按全精度建约1.29GB空壳再读入643MB全重，内存峰值可达约3400MB75% 相似已验证4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%74% 相似已验证Q4_K_M 采用混合精度，部分关键权重以 6bit 存储，其余以 4bit 存储，整体平均约 4.5bit73% 相似已验证GGUF格式支持4-bit、8-bit等多种精度级别，可将70亿参数模型的内存占用从约14GB（FP16）压缩至约4GB（Q4_K_M量化），推理精度损失通常在1-3%以内71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/950991API
curl https://kongchang.com/api/v1/knowledge/claims/950991MCP
get_claim(id=950991)