Qwen3 27B量化实测：8bit与4bit各赢5项打成平手

一个反直觉的实测结果

在部署大语言模型时，量化几乎是绑定话题。多数人有个朴素预期：8bit 量化保留了更细的权重信息，理应比压缩更狠的 4bit 更稳、更准。然而这次基于 MLX 框架对同一个 Qwen3 27B 模型的量化实测，却给出了一个耐人寻味的答案——8bit 和 4bit 系列（OQ4E）在 10 项准确性测试中，正好各赢 5 项，打成平手。

这不是简单的谁强谁弱，而是揭示了量化取舍背后更复杂的真相：精度损失并非线性均匀地分布在所有任务上，而是呈现出明显的"分叉"特征。

本次对比的对象非常明确：同一个 Qwen3 27B 模型，仅更换量化方案——一边是标准的 8bit 版本，另一边是 4bit 系列的 OQ4E 版本。测试套件共 10 个，其中大多数各跑 1000 题，HumanEval 为 164 题，TruthfulQA 为 817 题。

内存占用：4bit节省近35%显存

量化的首要动机永远是资源。在这次运行中：

• 8bit 版本：约占用 26.85GB 显存
• OQ4E（4bit）版本：约占用 17.55 至 19.72GB 显存

差距接近 8～9GB。对于消费级显卡或统一内存架构的设备（如 Apple Silicon Mac）而言，这个差距往往直接决定了模型"能不能跑"，而不仅仅是"跑得好不好"。4bit 量化用更强的压缩换来了近 35% 的内存节省，这是它最不可替代的价值。

准确率对决：从知识到代码全面分叉

真正有趣的地方在于准确率。如果 8bit 全面领先，结论会很简单。但实测显示，两个版本的优势项分散在完全不同的任务类型上。

知识类任务：互有胜负

第一处反差出现在 MMLU 系列。在 MMLU 上，OQ4E 以 84.5% 反超 8bit 的 82.8%；但到了难度更高的 MMLU Pro，情况颠倒过来，8bit 以 60.6% 略胜 OQ4E 的 59.9%。

其余知识与推理类任务的成绩对比：

测试项	8bit	OQ4E
Winogrande	79.2%	80.5%
MathQA	43.3%	40.7%
ARC-Challenge	96.4%	96.2%
Hellaswag	94.3%	94.8%

除 MathQA 外，多数项目的差距都在 1 个百分点以内，属于"接近打平"的范畴。

代码生成与真实性：8bit更稳

在代码生成任务 HumanEval 上，8bit 以 92.7% 明显高于 OQ4E 的 89.6%，差距超过 3 个百分点。这印证了传统认知——代码这类对精度敏感的任务，8bit 保留的权重细节确实有帮助。

TruthfulQA 上 8bit 也以 85.6% 略高于 OQ4E 的 84.8%。

数学任务GSM8K：最醒目的反转

最出人意料的是小学数学推理任务 GSM8K。OQ4E 做对 954 题（95.4%），而 8bit 只做对 924 题（92.4%）。压缩更狠的 4bit 版本在这里反而高出整整 3 个百分点。这个结果很好地说明了：量化误差对不同任务的影响难以线性预测，某些情况下甚至可能"歪打正着"地提升表现。

中文CMMLU：几乎平手

中文综合测试 CMMLU 的差距最小，OQ4E 为 81.9%，8bit 为 81.4%，仅相差 0.5 个百分点，更像是打平而非任何一方的绝对优势。

速度：4bit的另一张王牌

把 10 个套件汇总来看，8bit 赢 5 项，OQ4E 赢 5 项，准确率上势均力敌。但在耗时维度上，OQ4E 展现出压倒性优势——10 项测试中有 9 项耗时更低，唯一的例外是 Winogrande。

差距最明显的仍是 GSM8K：OQ4E 用时 2450.2 秒，而 8bit 高达 5471.2 秒，耗时差了两倍多。更小的权重意味着更少的内存带宽压力和更快的计算吞吐，这在长推理链任务上被进一步放大。

没有总冠军，只有场景适配

这次 Qwen3 27B 量化实测给出的结论清晰而务实：这里没有一个简单的"总冠军"。

• 8bit 量化：保留权重信息更细，在代码生成、真实性判断等敏感任务上略稳；
• OQ4E（4bit）量化：内存占用低约 8～9GB，多数任务推理速度更快，在数学等特定任务上甚至反超。

两个版本不是在同一类任务上轮流领先，而是从知识、数学到代码全程分叉。这提醒我们，选择量化方案时不能只靠"位数越高越好"的直觉，而应该把具体任务类型、显存上限、硬件预算和推理速度需求放在一起综合权衡。

如果你的工作流以数学推理为主、又受限于显存，4bit 的 OQ4E 可能是更聪明的选择；如果对代码质量高度敏感、且硬件资源充裕，8bit 仍值得投入。归根结底，模型量化不是简单的"打折"，而是一场需要按任务量身定制的权衡艺术。