待验证50% 置信事实精确时间

双重量化对每64个参数共享的FP32缩放因子进一步量化为FP8格式，使每个参数的量化开销从0.5bit降低到约0.127bit

1

来源数

50%

置信度

长期有效

时效性

2026/8/26

首次发现

来源

Unsloth Desktop重大更新：自动压缩、远程访问与200+PR合并详解

涉及实体

相关事实

待验证140GB的FP16 70B模型经4-bit量化后可压缩至约35-40GB，通信开销降低约75%；2-bit量化可压缩至约18GB但带来精度损失78% 相似待验证以Q4_0格式为例，每32个FP32权重被打包为一个量化块，包含一个缩放因子和32个4bit整数，平均每参数约占4.5bit，内存占用缩减至原来的约1/877% 相似待验证FP8量化可将7B模型权重从约14GB（FP16）压缩至约7GB75% 相似待验证2.4万亿参数模型在FP32下约需9.6TB显存，BF16约需4.8TB，INT8约需2.4TB，INT4约需1.2TB75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/802104

API

curl https://kongchang.com/api/v1/knowledge/claims/802104

MCP

get_claim(id=802104)