NatScale
一种针对MoE混合精度量化的对比校准分配框架，通过梯度估计专家敏感度权重，并经幂变换校准至信息论对比目标，从而将排序信息转化为可量化的绝对误差权重
时间轴 (近 90 天)
NatScale 是一个对比校准分配框架，其工作流程包含三个环节：基于梯度的专家权重估计、幂变换校准至信息论对比目标、联合评估门控/上投影/下投影。
NatScale 利用梯度信息为每个专家估算敏感度权重，梯度信号比单纯的权重范数更贴近任务目标。
NatScale 引入模型专属的幂变换，将原始梯度权重映射到信息论对比目标上，校准时保持专家排序不变，只调整权重之间的相对差距。
在 NatScale 中，幂变换的参数 α > 1 时较大的权重被进一步放大、较小的权重被压缩，使分布更陡峭；α < 1 时分布更平缓，此过程不改变专家之间的排序。
信息论对比目标通常指以 KL 散度或交叉熵等度量分布差异的损失函数，NatScale 将校准后的权重作为这些目标中的误差惩罚系数。
MoE 层的每个专家包含 gate、up、down 三个关键配置，NatScale 联合评估三者组合后对专家输出的整体误差影响，而非单独评估某一组件。
NatScale 将校准后的权重和误差估计与一个已有先验结合，该先验涵盖权重谱、方差以及精度衰减三个维度。
论文在三个模型上进行了验证，对比了五种分配基线方法，共九项设置。
在全部九项设置中，NatScale 均取得最低的 native-to-quantized KL 散度。
在九项设置中，NatScale 在 Top-token 一致率指标上全部取得最高值。
还有 2 条时间轴事件
全部知识事实 (12)
NatScale 是一个对比校准分配框架，其工作流程包含三个环节：基于梯度的专家权重估计、幂变换校准至信息论对比目标、联合评估门控/上投影/下投影。
50%待验证NatScale 利用梯度信息为每个专家估算敏感度权重，梯度信号比单纯的权重范数更贴近任务目标。
50%待验证NatScale 引入模型专属的幂变换，将原始梯度权重映射到信息论对比目标上，校准时保持专家排序不变，只调整权重之间的相对差距。
50%待验证在 NatScale 中，幂变换的参数 α > 1 时较大的权重被进一步放大、较小的权重被压缩，使分布更陡峭；α < 1 时分布更平缓，此过程不改变专家之间的排序。
50%待验证信息论对比目标通常指以 KL 散度或交叉熵等度量分布差异的损失函数，NatScale 将校准后的权重作为这些目标中的误差惩罚系数。
50%待验证MoE 层的每个专家包含 gate、up、down 三个关键配置，NatScale 联合评估三者组合后对专家输出的整体误差影响，而非单独评估某一组件。
50%待验证NatScale 将校准后的权重和误差估计与一个已有先验结合，该先验涵盖权重谱、方差以及精度衰减三个维度。
50%待验证论文在三个模型上进行了验证，对比了五种分配基线方法，共九项设置。
50%待验证在全部九项设置中，NatScale 均取得最低的 native-to-quantized KL 散度。
50%待验证在九项设置中，NatScale 在 Top-token 一致率指标上全部取得最高值。
50%待验证在七项设置中，NatScale 取得了最低困惑度。
50%待验证论文的核心启示是量化分配不应止步于敏感性排序，而应转向目标感知分配，即根据最终优化目标反向校准每个专家的误差权重。
50%