待验证50% 置信事实精确时间
4-bit量化（如bitsandbytes的NF4或GPTQ）的权重通常以块为单位存储，每块附带缩放因子和零点，这些元数据常以FP16或FP32保存；嵌入层、输出层和归一化层可能保持更高精度，因此实际权重文件比理论值P×b/8通常多出5%-15%。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
已验证GGUF格式支持4-bit、8-bit等多种精度级别，可将70亿参数模型的内存占用从约14GB（FP16）压缩至约4GB（Q4_K_M量化），推理精度损失通常在1-3%以内77% 相似已验证量化KV缓存（如FP8或INT4存储KV向量）可将缓存大小压缩到原来的1/2甚至1/476% 相似已验证Q4_K_M 采用混合精度，部分关键权重以 6bit 存储，其余以 4bit 存储，整体平均约 4.5bit75% 相似待验证4F²是DRAM存储芯片的面积效率衡量标准，意味着每个存储单元仅占4倍最小特征尺寸的面积，是理论上的存储密度极限，现有主流DRAM通常在6F²至8F²之间75% 相似已验证4-bit量化使模型存储空间缩减为FP16的约1/475% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1057301API
curl https://kongchang.com/api/v1/knowledge/claims/1057301MCP
get_claim(id=1057301)