[控场AI]
· 5 分钟阅读· 2,635 字

动画拆解LLM量化:从absmax到BitNet

动画拆解LLM量化:从absmax到BitNet

以8个权重为例,串起absmax、离群值、分块缩放与BitNet的量化取舍链路。

文章以70B模型16位需140 GB显存为起点,说明量化是在有限数值空间中做有损映射的精度博弈。通过8个具体权重演示absmax:缩放因子由全局最大值决定,舍入误差会抹掉接近权重的区分度。单个离群值可将步长拉宽至约2,使小权重全部归零,Dettmers等人(2022)在真实LLM中证实了该现象。工程解法转向分块缩放,llama.cpp的Q4_K以32权重为块独立缩放,等效约4.5 bits,70B模型降至约39 GB。BitNet b1.58则从训练阶段将权重限制为-1/0/+1,推理仅需加减法,但无法对现有模型直接套用。

大模型量化是让70B参数模型跑进消费级显卡的关键技术。Reddit上一位创作者用7分钟动画,以8个具体权重为例,把absmax映射、舍入误差、离群值、分块缩放和1.58-bit BitNet串成了一条完整的技术链路。本文基于该视频内容,梳理量化的核心逻辑与工程取舍。

reddit source: I animated how LLM quantization works on 8 example weights: absmax, rounding error, outliers, per-bl

量化要解决的核心矛盾:内存与精度

视频开篇抛出一个具体问题:一个70B模型在16位精度下需要140 GB显存,而游戏显卡通常只有24 GB或32 GB。要在本地跑起来,必须减少每个权重占用的位数。

但位数减少意味着可表示的数值数量骤降。8位整数只有256个可能值,相比浮点数动态范围大幅收窄。量化的本质是在有限数值空间里,尽可能保留模型行为的关键信息。这不是简单的压缩,而是一场有损映射的精度博弈。

理解量化的第一步,是看清一次映射过程中误差从哪里来。

absmax映射与舍入误差:量化精度的第一课

absmax方法用最大绝对值确定缩放因子。视频中,最大权重为10.8,映射到8位整数的上限127,缩放因子约为11.76。权重5.47被存为64,反量化后得到5.44,差值0.03就是舍入误差。

误差本身不可怕,可怕的是它抹掉了权重的区分度。两个接近的权重3.08和3.02,量化后都变成36,模型再也无法区分它们。这种信息损失在低比特下会累积放大,直接影响模型输出质量。

absmax的问题在于,缩放因子由全局最大值决定,少数极端值会绑架整个数值分布。

**缩放因子(scale factor)与零点(zero-point)**是理解量化映射的两个基础参数。缩放因子决定浮点区间到整数区间的比例关系,零点则标记浮点零在整数空间中的对应位置。对称量化(如absmax)通常令零点为0,正负权重共享同一缩放因子;非对称量化则允许零点偏移,以更好覆盖非对称分布。反量化时用 float ≈ scale × (int - zero_point) 还原,因此缩放因子的存储精度和舍入方式都会引入额外的量化噪声。

离群值:全局缩放的致命弱点

视频用一组对比数据展示了离群值的破坏力:当大部分权重低于0.6,却出现一个256的离群值时,量化步长被拉宽到约2。结果是所有小权重都被舍入到0,模型的细节信息几乎全部丢失。

这不是理论假设。Dettmers等人(2022)在真实LLM中发现了此类离群值。它们数量少但幅度大,对全局缩放方案构成结构性挑战。

离群值的存在说明,用一个统一的缩放因子覆盖所有参数,在真实模型中行不通。工程上的解法转向更细粒度的缩放策略。

LLM.int8() 是Dettmers等人在发现离群值后提出的代表性解法。它的核心思路是混合精度分解:对绝大多数权重仍用8位矩阵乘法,但把幅度超过阈值的离群特征维度单独抽出,用16位浮点计算。这样既保住了大部分计算吞吐,又避免了离群值污染全局缩放。该工作还观察到离群值往往集中在少数固定通道上,且随模型规模增大而更明显,这为后续按通道或按块缩放的设计提供了经验依据。

分块缩放与Q4_K:工程折中方案

既然全局缩放被离群值拖累,那就把权重切分成小块,每块独立计算缩放因子。llama.cpp的Q4_K采用32个权重为一个块,最终达到约4.5 bits per weight,70B模型的内存占用降到约39 GB。

这个数字值得注意:4.5位并非整数位宽,而是块内缩放、量化参数与数据位混合计算后的等效值。分块缩放的代价是需要额外存储每块的缩放因子,但换来的是离群值影响被限制在局部,不会污染整个张量。

分块缩放是当前主流量化方案的基础,但它仍然是在训练后对权重做近似。另一条路线从训练阶段就改变了权重的表示方式。

GGUF与K-quant 是llama.cpp生态中承载分块量化的文件格式和算法族。GGUF定义了量化张量在磁盘上的布局,K-quant(如Q4_K、Q5_K)则在块内引入两级缩放:超级块(super-block)持有粗粒度缩放,子块再持有细粒度缩放,用少量额外元数据换取更平滑的误差分布。选择Q4_K而非更低的Q2_K,通常是在困惑度(perplexity)与显存之间做权衡——量化越激进,等效位宽越低,但模型在长尾知识上的退化也越明显。

BitNet b1.58:从训练阶段重构权重

BitNet b1.58把每个权重限制为-1、0、+1三个值,等效约1.58位。关键区别在于,它不是训练后量化,而是训练时就让模型适应这种表示。

这种设计的计算优势直接体现在硬件层面:一个层只需要加法和减法,乘法器可以被大幅简化。视频指出,这种三值表示让推理计算变得极其轻量。

但代价同样明确:模型必须从训练阶段就采用该架构,无法对现有模型直接套用。BitNet代表的是量化思路的范式转变,从压缩已有权重转向设计天生低比特的模型。

量化感知训练(QAT) 与训练后量化(PTQ)的分界,是理解BitNet定位的关键。PTQ在已训练好的权重上做近似,成本低但误差不可控;QAT在训练前向传播中模拟量化舍入,让梯度适应低比特表示,通常能显著缩小精度差距。BitNet b1.58属于更激进的QAT变体:它把量化算子直接写进架构,从头训练三值权重。这也解释了为何它无法直接套用到现有模型——权重的表示方式已经改变了模型的可训练空间。

量化路线的选择逻辑

把视频中的几条线索放在一起,可以看到清晰的取舍地图。absmax简单但受离群值制约;分块缩放通过细粒度控制把误差限制在局部,是当前本地部署的主流选择;BitNet则从训练端重构,换取极致的计算效率,但需要重新训练模型。

每条路线对应不同的使用场景。想在现有开源模型上降低显存占用,分块量化是务实路径;追求极致推理效率且有训练资源,三值架构提供了另一条可能。量化的核心命题始终是同一个:在有限数值空间里,如何让模型行为损失最小。理解这个命题,比记住某个具体方案更重要。

#LLM量化#模型量化#absmax#Q4_K#BitNet#1.58-bit#分块量化#离群值
分享:

相关推荐