[控场AI]
概念

Q8_0

一种 8 比特量化格式,每 32 个权重共享一个缩放因子,接近无损。

核心事实

时间轴 (近 90 天)

11月7日

在Qwen3.8 27B测试中,q4_0 KV cache的绝对KLD增量对越精确的权重伤害越大:Q3级别权重只增加6-10%,UD-Q4_K_XL增加约39%,Q8_0增加约390%。

待验证50%
11月6日

LTX-2.5 GGUF Q8_0 视频在 NVIDIA GPU 上约快 10%,且画面帧完全一致。

待验证50%
10月28日

不同量化类型(如 Q4_K_M、Q8_0)在体积、速度和质量上各有取舍。

待验证50%
10月22日

Q8_0 是 8 位块量化,精度高但压缩率有限;Q4_K_M 在 4 比特量级上通过混合精度平衡体积与质量,是本地部署常用默认档位之一。

待验证50%
10月17日

同一个 Q8_0 文件运行两次,第二次使用 q8_0 的 K/V 缓存,KL 为 0.0038,比将权重从 BF16 量化为 Q8_0(KL 0.0022)的影响还大。

待验证50%
10月16日

KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达,其中 2 bytes 对应 FP16,使用 FP32 时翻倍,使用 INT8 量化则减半。

已验证65%
10月15日

Q8_0 表示 8 位整数量化:权重以 8 bit 块存储,每个块带一个缩放因子,相比 FP16 大约减半,精度损失很小但几乎不省内存

待验证50%
10月10日

Q8_0 量化将模型权重从 32 位浮点数压缩为 8 位整数,精度损失相比 FP32 通常在 1% 以内

待验证50%
9月25日

在WikiText-2 GGUF运行时测试中,Q8_0量化保留了BF16读取器NLL增益的99.1%

待验证50%
9月24日

上下文量化选择 Q8_0 意味着在 KV Cache 上保留更高精度,对推理质量的影响往往比权重量化更显著

待验证50%

还有 3 条时间轴事件

全部知识事实 (13)

已验证

KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达,其中 2 bytes 对应 FP16,使用 FP32 时翻倍,使用 INT8 量化则减半。

65%
待验证

该开发者对 Qwen-3.8 使用的量化配置是权重 Q4_K_S、上下文量化到 Q8_0

60%
待验证

在Qwen3.8 27B测试中,q4_0 KV cache的绝对KLD增量对越精确的权重伤害越大:Q3级别权重只增加6-10%,UD-Q4_K_XL增加约39%,Q8_0增加约390%。

50%
待验证

LTX-2.5 GGUF Q8_0 视频在 NVIDIA GPU 上约快 10%,且画面帧完全一致。

50%
待验证

不同量化类型(如 Q4_K_M、Q8_0)在体积、速度和质量上各有取舍。

50%
待验证

Q8_0 是 8 位块量化,精度高但压缩率有限;Q4_K_M 在 4 比特量级上通过混合精度平衡体积与质量,是本地部署常用默认档位之一。

50%
待验证

同一个 Q8_0 文件运行两次,第二次使用 q8_0 的 K/V 缓存,KL 为 0.0038,比将权重从 BF16 量化为 Q8_0(KL 0.0022)的影响还大。

50%
待验证

Q8_0 表示 8 位整数量化:权重以 8 bit 块存储,每个块带一个缩放因子,相比 FP16 大约减半,精度损失很小但几乎不省内存

50%
待验证

Q8_0 量化将模型权重从 32 位浮点数压缩为 8 位整数,精度损失相比 FP32 通常在 1% 以内

50%
待验证

在WikiText-2 GGUF运行时测试中,Q8_0量化保留了BF16读取器NLL增益的99.1%

50%
待验证

上下文量化选择 Q8_0 意味着在 KV Cache 上保留更高精度,对推理质量的影响往往比权重量化更显著

50%
待验证

Q8_0是8-bit整数量化格式,是精度最高的整数量化之一,几乎不会造成可感知的输出质量下降

50%
待验证

27B参数的Q8_0模型加上vLLM的KV Cache和运行时开销,单个推理服务需要近50GB内存空间

50%

来源文章