量化还是排列?本地小模型推理预算的抉择

固定推理预算下,6比特权重量化加最多四个顺序平均是性价比最高的策略。
一项新研究在Qwen3-0.6B和Qwen3-1.7B上模拟权重舍入量化,测试选项顺序平均的效果,以回答固定推理预算下应投资比特数还是排列次数。实验对比8、6、4、3比特与fp16,在ARC、MMLU和HellaSwag上评估。结果显示6比特量化不损失精度甚至略有提升,8比特反而下降;4比特显著增加答案槽偏差,但高斯噪声对照无法确定舍入是否额外增加偏差。平均四个循环顺序在4比特下恢复+12.6个百分点,有效缓解顺序敏感性。成本匹配分析表明,仅当权重不低于6比特时,增加排列才优于增加比特。推荐策略为6比特权重加最多四个顺序平均,但结论基于小模型模拟,需实际验证。
引言
在本地运行语言模型时,内存和计算预算总是有限的。一个常见的节省内存的方法是降低权重精度(量化),而减少对答案选项顺序敏感性的方法则是平均多个重排(排列)。这两者能否兼得?还是说量化会加剧顺序偏差?一项新研究在Qwen3-0.6B和Qwen3-1.7B上模拟了权重舍入量化,并测试了选项顺序平均的效果,试图回答在固定推理预算下,应该将资源花在比特数上还是排列次数上。

实验设置
研究采用模拟的round-to-nearest权重量化,对比了8、6、4、3比特与fp16参考的精度。评估数据集包括ARC-Easy、ARC-Challenge、MMLU和HellaSwag,每个数据集300个样本。模型输出通过字母A到D的logits来测量答案选择。研究还引入了高斯噪声作为对照,以相同权重信噪比(SNR)添加噪声,观察是否量化特有的舍入误差会带来额外的顺序偏差。
权重舍入量化(round-to-nearest quantization) 是一种最基础的训练后量化方法:将浮点权重按比例缩放后,舍入到最近的离散整数网格上,再反缩放回近似浮点值。其误差来源是舍入操作引入的加性噪声,通常假设与权重大小无关。模拟量化(simulated quantization)则是在浮点计算图上临时插入舍入节点,不改变底层硬件,用于快速评估量化对精度的影响。本文采用该模拟方法对比不同比特数,并引入高斯噪声对照:按相同权重信噪比(SNR)添加随机噪声,若量化与高斯噪声造成的顺序偏差相当,则说明舍入本身没有引入超出等功率噪声的额外效应。这种对照设计有助于区分“量化特有”与“一般噪声”导致的偏差。
答案槽偏差(answer-slot skew) 衡量模型对选项位置(A/B/C/D槽)的偏好程度,通常定义为各槽被选为答案的频率与均匀分布之间的偏离。顺序偏差会扭曲模型在多项选择题上的表现,尤其当正确答案恰好落在模型偏好的槽位时。本文通过循环排列选项并平均预测来缓解该偏差,排列平均的有效性取决于偏差是否稳定且可被平均抵消。
量化对精度和顺序偏差的影响
结果显示,6比特量化并没有损失精度,反而比fp16分别高出+1.8和+0.9个百分点(研究未解释这一现象)。8比特量化则导致精度下降-0.7和-0.4个百分点。4比特量化时,答案槽偏差(answer-slot skew)从0.15升至0.53(0.6B模型),从0.07升至0.12(1.7B模型)。然而,在相同权重SNR下添加高斯噪声也产生了0.15和0.37(两次抽样)以及0.19(一次抽样)的偏差,因此对照实验无法确定舍入是否在等功率噪声之外增加了槽偏差。翻转率(flip rates)上升,但仍低于独立均匀误差的精度匹配基线。
排列平均的效果
在4比特量化下,平均四个循环顺序(cyclic orders)在0.6B模型上恢复了+12.6个百分点(fp16下为+5.3)。这表明选项顺序平均能有效缓解量化带来的顺序敏感性问题。但成本如何呢?
成本匹配下的决策
研究将比特和排列次数统一为一个机器无关的单位:权重字节读取次数乘以传递次数(weight bytes read times passes)。在成本匹配的配对中,只有当权重有6比特或更多时,增加排列次数才优于增加比特数。决策表简化为:使用6比特权重,并将剩余预算用于最多四个顺序,每个顺序一次传递。
权重字节读取次数乘以传递次数 是一个与硬件无关的成本代理指标:每生成一个答案,模型需要读取所有量化权重字节一次,若进行多次排列传递,则总成本为字节读取量乘以传递次数。该指标忽略了计算单元、缓存和并行度等因素,但能公平比较“增加比特数”与“增加排列次数”的相对开销。在固定预算下,增加比特数会线性增加每次传递的读取量,而增加排列次数则线性增加传递次数,两者在成本上可互换。本文据此构建决策表,发现只有当权重大于等于6比特时,额外排列的边际收益才高于额外比特,因为低比特下量化噪声主导了顺序偏差,增加排列的收益被高噪声淹没。
局限与启示
所有实验均在两个小模型上模拟,且使用了最简单的量化器。标题级别的搜索未发现先前关于量化与选项顺序结合的研究。这意味着该领域仍有大量探索空间,尤其是实际硬件部署中的复杂量化方案。对于本地模型部署者,当前结果表明6比特量化是一个甜点,既能保持精度,又能为顺序平均留出预算。
结论
在固定推理预算下,6比特权重量化加上最多四个顺序的平均,似乎是性价比最高的策略。但需注意,该结论基于模拟环境和小模型,实际应用前应进一步验证。
相关推荐

普朗克长度是最小距离吗?物理学家为何存疑
普朗克长度常被称为宇宙最小距离,但科普视频指出这一说法从未被实验证实。本文解析普朗克长度的来源、显微镜思想实验的障碍,以及它真正告诉我们的——量子引力变得不可回避的尺度,而非时空像素。

AI代理驱动支出管理,Payhawk获2.8亿美元融资
Payhawk宣布完成2.8亿美元融资,估值达20亿美元。这家成立于2018年的企业财务管理平台以AI代理追踪和管理费用与采购,本文分析其产品定位演进、估值信号及对企业支出管理赛道的影响。

Snapchat开放AI助手构建AR滤镜:支持Claude Code与Cursor
Snapchat 宣布 Lens 创作者可用自然语言描述 AR 滤镜需求,由 Claude Code、Cursor 等 AI 助手完成从构建到完成的整个开发流程,AR 创作门槛大幅降低。