待验证60% 置信事实精确时间
双重量化对每64个参数共享的FP32缩放因子进一步量化为FP8格式，使每个参数的量化开销从0.5bit降低到约0.127bit
2
来源数
60%
置信度
长期有效
时效性
2026/8/26
首次发现
来源
涉及实体
相关事实
已验证140GB的FP16 70B模型经4-bit量化后可压缩至约35-40GB，通信开销降低约75%；2-bit量化可压缩至约18GB但带来精度损失78% 相似待验证以Q4_0格式为例，每32个FP32权重被打包为一个量化块，包含一个缩放因子和32个4bit整数，平均每参数约占4.5bit，内存占用缩减至原来的约1/877% 相似待验证量化将FP32权重转为INT8或FP16，在保持音质前提下减少计算量和内存带宽压力76% 相似已验证FP8量化可将7B模型权重从约14GB（FP16）压缩至约7GB75% 相似待验证2.4万亿参数模型在FP32下约需9.6TB显存，BF16约需4.8TB，INT8约需2.4TB，INT4约需1.2TB75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/802104API
curl https://kongchang.com/api/v1/knowledge/claims/802104MCP
get_claim(id=802104)