[控场AI]
· 4 分钟阅读· 2,088 字

量化还是排列?本地小模型推理预算的抉择

量化还是排列?本地小模型推理预算的抉择

固定推理预算下,6比特权重量化加最多四个顺序平均是性价比最高的策略。

一项新研究在Qwen3-0.6B和Qwen3-1.7B上模拟权重舍入量化,测试选项顺序平均的效果,以回答固定推理预算下应投资比特数还是排列次数。实验对比8、6、4、3比特与fp16,在ARC、MMLU和HellaSwag上评估。结果显示6比特量化不损失精度甚至略有提升,8比特反而下降;4比特显著增加答案槽偏差,但高斯噪声对照无法确定舍入是否额外增加偏差。平均四个循环顺序在4比特下恢复+12.6个百分点,有效缓解顺序敏感性。成本匹配分析表明,仅当权重不低于6比特时,增加排列才优于增加比特。推荐策略为6比特权重加最多四个顺序平均,但结论基于小模型模拟,需实际验证。

引言

在本地运行语言模型时,内存和计算预算总是有限的。一个常见的节省内存的方法是降低权重精度(量化),而减少对答案选项顺序敏感性的方法则是平均多个重排(排列)。这两者能否兼得?还是说量化会加剧顺序偏差?一项新研究在Qwen3-0.6B和Qwen3-1.7B上模拟了权重舍入量化,并测试了选项顺序平均的效果,试图回答在固定推理预算下,应该将资源花在比特数上还是排列次数上。

rss source: Bits or permutations? Spending a fixed inference budget on weight precision or on option-order avera

实验设置

研究采用模拟的round-to-nearest权重量化,对比了8、6、4、3比特与fp16参考的精度。评估数据集包括ARC-Easy、ARC-Challenge、MMLU和HellaSwag,每个数据集300个样本。模型输出通过字母A到D的logits来测量答案选择。研究还引入了高斯噪声作为对照,以相同权重信噪比(SNR)添加噪声,观察是否量化特有的舍入误差会带来额外的顺序偏差。

权重舍入量化(round-to-nearest quantization) 是一种最基础的训练后量化方法:将浮点权重按比例缩放后,舍入到最近的离散整数网格上,再反缩放回近似浮点值。其误差来源是舍入操作引入的加性噪声,通常假设与权重大小无关。模拟量化(simulated quantization)则是在浮点计算图上临时插入舍入节点,不改变底层硬件,用于快速评估量化对精度的影响。本文采用该模拟方法对比不同比特数,并引入高斯噪声对照:按相同权重信噪比(SNR)添加随机噪声,若量化与高斯噪声造成的顺序偏差相当,则说明舍入本身没有引入超出等功率噪声的额外效应。这种对照设计有助于区分“量化特有”与“一般噪声”导致的偏差。

答案槽偏差(answer-slot skew) 衡量模型对选项位置(A/B/C/D槽)的偏好程度,通常定义为各槽被选为答案的频率与均匀分布之间的偏离。顺序偏差会扭曲模型在多项选择题上的表现,尤其当正确答案恰好落在模型偏好的槽位时。本文通过循环排列选项并平均预测来缓解该偏差,排列平均的有效性取决于偏差是否稳定且可被平均抵消。

量化对精度和顺序偏差的影响

结果显示,6比特量化并没有损失精度,反而比fp16分别高出+1.8和+0.9个百分点(研究未解释这一现象)。8比特量化则导致精度下降-0.7和-0.4个百分点。4比特量化时,答案槽偏差(answer-slot skew)从0.15升至0.53(0.6B模型),从0.07升至0.12(1.7B模型)。然而,在相同权重SNR下添加高斯噪声也产生了0.15和0.37(两次抽样)以及0.19(一次抽样)的偏差,因此对照实验无法确定舍入是否在等功率噪声之外增加了槽偏差。翻转率(flip rates)上升,但仍低于独立均匀误差的精度匹配基线。

排列平均的效果

在4比特量化下,平均四个循环顺序(cyclic orders)在0.6B模型上恢复了+12.6个百分点(fp16下为+5.3)。这表明选项顺序平均能有效缓解量化带来的顺序敏感性问题。但成本如何呢?

成本匹配下的决策

研究将比特和排列次数统一为一个机器无关的单位:权重字节读取次数乘以传递次数(weight bytes read times passes)。在成本匹配的配对中,只有当权重有6比特或更多时,增加排列次数才优于增加比特数。决策表简化为:使用6比特权重,并将剩余预算用于最多四个顺序,每个顺序一次传递。

权重字节读取次数乘以传递次数 是一个与硬件无关的成本代理指标:每生成一个答案,模型需要读取所有量化权重字节一次,若进行多次排列传递,则总成本为字节读取量乘以传递次数。该指标忽略了计算单元、缓存和并行度等因素,但能公平比较“增加比特数”与“增加排列次数”的相对开销。在固定预算下,增加比特数会线性增加每次传递的读取量,而增加排列次数则线性增加传递次数,两者在成本上可互换。本文据此构建决策表,发现只有当权重大于等于6比特时,额外排列的边际收益才高于额外比特,因为低比特下量化噪声主导了顺序偏差,增加排列的收益被高噪声淹没。

局限与启示

所有实验均在两个小模型上模拟,且使用了最简单的量化器。标题级别的搜索未发现先前关于量化与选项顺序结合的研究。这意味着该领域仍有大量探索空间,尤其是实际硬件部署中的复杂量化方案。对于本地模型部署者,当前结果表明6比特量化是一个甜点,既能保持精度,又能为顺序平均留出预算。

结论

在固定推理预算下,6比特权重量化加上最多四个顺序的平均,似乎是性价比最高的策略。但需注意,该结论基于模拟环境和小模型,实际应用前应进一步验证。

#权重量化#选项顺序平均#本地语言模型#推理预算#6比特量化#Qwen3#模型压缩#顺序偏差
分享:

相关推荐