NatScale新方法：对比校准如何颠覆MoE混合精度量化

混合专家（MoE）模型通过稀疏激活大幅降低推理成本，但所有专家权重仍需全量存储，显存占用成为部署瓶颈。混合精度量化通过给敏感专家分配高位宽、给鲁棒专家分配低位宽来压缩存储，然而「谁更敏感」的排序本身，并不能回答「误差该被放大多少倍」这一关键问题。一篇新论文提出的 NatScale 框架，正是从这个被忽视的缺口切入。

专家排序的盲区：知道谁重要，不等于知道多重要

传统混合精度量化普遍依赖专家重要性排序：先算一个敏感性分数，再按分数高低分配比特。这套逻辑隐含一个假设——排序越靠前的专家理应获得越高精度，且分配权重与排序位置线性相关。但论文指出，排序只能提供相对次序，无法校准「误差权重」的绝对强度。

举个例子：两个专家在排序上分列第一和第二，差距可能微乎其微，也可能天差地别。如果量化器对二者施加同等程度的误差惩罚，就会在存储预算受限时做出次优决策。论文将这一现象概括为——专家排序不足以确定其误差应被赋予多大权重。

NatScale 的核心主张是：分配策略不仅要知道谁更敏感，还要知道敏感度差异在目标函数中应被放大还是压缩。

混合精度量化（Mixed-Precision Quantization） 是指对模型的不同部分（此处为不同专家）采用不同位宽（如4-bit、8-bit）进行量化，以在存储与精度之间取得平衡。传统做法依赖统一的比特分配规则，但在MoE中，专家数量众多且敏感性差异巨大，统一分配往往导致敏感专家精度不足或鲁棒专家过度浪费存储。混合精度量化的核心挑战在于：如何为每个专家找到最优位宽，使得在总存储预算下全局误差最小。这本质上是一个资源分配优化问题，需要为每个专家定义一个可比较的“代价”或“误差权重”，而非仅仅依赖相对排序。NatScale指出的盲区正是：排序只给出相对次序，但优化目标函数需要每个专家的绝对误差权重。

NatScale 的三步机制：从梯度到对比目标

NatScale 是一个「对比校准分配框架」，其工作流程可分为三个环节。

第一步：基于梯度的专家权重估计

框架首先利用梯度信息为每个专家估算敏感度权重。梯度信号反映了参数对损失函数的实际影响，比单纯的权重范数更贴近任务目标。但这只是起点。

第二步：幂变换校准至信息论对比目标

关键创新在于引入一个模型专属的幂变换（power transformation），将原始梯度权重映射到一个「信息论对比目标」上。校准时保持专家排序不变，只调整权重之间的相对差距——让原本过于平缓的分布变得更陡峭，或反之。这相当于把「排序信息」升级为「可量化的误差权重」。

幂变换（Power Transformation） 是一种数学操作，将原始数值 ( x ) 映射为 ( x^\alpha )（(\alpha) 为可调参数）。在NatScale中，该变换作用于梯度权重，通过调整指数 (\alpha) 来改变权重分布的陡峭程度：当 (\alpha > 1) 时，较大的权重被进一步放大，较小的权重被压缩，使得分布更陡峭；当 (\alpha < 1) 时，分布更平缓。这一过程不改变专家之间的排序，只调整它们之间的相对差距（即权重比值）。所谓信息论对比目标，通常指以KL散度或交叉熵等度量分布差异的损失函数，NatScale将校准后的权重作为这些目标中的误差惩罚系数，从而将“排序信息”转化为可直接用于优化的“绝对权重”。

第三步：联合评估门控、上投影与下投影

MoE 层的每个专家包含 gate、up、down 三个关键配置。NatScale 不单独评估某一组件，而是联合评估三者组合后对专家输出的整体误差影响。这避免了「单独看每个矩阵都还行、合起来却偏差巨大」的陷阱。

融合先验：权重谱、方差与精度衰减

校准后的权重和误差估计并非孤立使用。NatScale 将它们与一个已有先验结合——该先验涵盖权重谱（weight spectra）、方差以及精度衰减（precision decay）三个维度。

这种设计思路值得注意：它既利用了梯度这种动态、任务相关的信号，又保留了权重统计特性这类静态、结构化的先验。两者互补，使得在给定存储预算下选择配置时，决策依据更加全面。最终输出是一组满足预算约束的精度分配方案。

权重谱（Weight Spectra） 指对权重矩阵进行奇异值分解后得到的奇异值分布，它反映了权重在不同方向上的能量分布，可用于评估量化对矩阵低秩结构的破坏程度。精度衰减（Precision Decay） 则指随着量化位宽降低，模型精度（如困惑度）下降的经验曲线；不同专家对这种衰减的敏感度不同，该先验可帮助预测在特定位宽下专家精度的损失量。方差在此处通常指专家权重或激活值的统计方差，高方差往往意味着量化误差更大。这些先验信息与梯度信号互补：梯度是动态、任务相关的，而权重谱、方差和精度衰减是静态、结构化的，融合两者可在存储预算下更鲁棒地选择每个专家的量化配置。

实验结果：九项设置全面领先

论文在三个模型上进行了验证，对比了五种分配基线方法。结果呈现出高度一致性：

• KL 散度：在全部九项设置中，NatScale 均取得最低的 native-to-quantized KL 散度，即量化后分布与原模型分布偏差最小。
• Top-token 一致率：九项设置中全部取得最高值，说明量化后模型对首选 token 的预测与原模型最为吻合。
• 困惑度：在七项设置中取得最低困惑度。

九项设置中三项核心指标几乎全面领先，这种一致性在量化研究中并不常见——通常不同方法会在不同模型或比特配置下互有胜负。NatScale 的表现说明，「目标感知的精度分配」确实比单纯的排序驱动策略更稳健。

为什么「目标感知」是量化分配的下一个关键词

这项工作最有价值的启示或许是方法论层面的：量化分配不应止步于「敏感性排序」，而应转向「目标感知分配」——即根据最终优化目标（如 KL 散度、token 一致率）来反向校准每个专家的误差权重。

排序是相对的，权重是绝对的。混合精度量化的存储预算约束，本质上是一个资源分配优化问题，而任何优化问题都需要绝对量级的代价函数参数，而非仅有次序。NatScale 用对比校准补上了这块拼图。

对于需要在有限显存下部署 MoE 大模型的工程团队而言，这一思路提供了一个可操作的改进方向：与其反复调排序阈值，不如先校准权重强度，再在预算内做分配。论文标题中的「Beyond Expert Rankings」正是对这一转向的精准概括。