FP4预训练代价：损失曲线掩盖的稀有事实学习延迟

低精度预训练的效果通常由验证损失来评判，但验证损失匹配是否意味着模型学习稀有事实的效率也相当？一项新研究通过合成传记数据与受控暴露次数实验，揭示了FP4量化（特别是NVFP4）在稀有事实获取上的隐性成本：当验证损失仅相差0.5%至2%时，NVFP4需要比BF16多1.32倍至1.52倍的暴露次数才能达到相同的召回率。这一发现挑战了仅以损失曲线评估低精度训练配方的惯例。

损失曲线之外的盲区：稀有事实学习效率

该研究从零开始训练Transformer模型，采用模拟的4位矩阵乘法，在合成传记数据上控制每个事实的暴露次数，并分别测试了独立训练和混合网页文本训练的场景。核心对比在于BF16与NVFP4两种精度格式。结果显示，尽管验证损失差异极小——分别为0.5%和2%——但NVFP4在稀有事实召回上需要显著更多的暴露次数：在独立训练中为1.32倍，混合训练中为1.52倍。当两个模型均使用BF16矩阵乘法进行评估时，这一倍数降至1.26倍和1.30倍。研究团队指出，在主要读数下，匹配损失时的暴露成本约为1.2倍。

这一结果意味着，损失曲线可能掩盖了低精度训练对稀有知识获取的负面影响。对于依赖模型准确回忆长尾事实的应用而言，仅追求损失匹配可能不够。

NVFP4 是 NVIDIA 提出的一种 4 位浮点量化格式，属于 Microscaling（MX）格式家族的一个变体。与传统的 FP4 不同，NVFP4 采用分块量化策略：每 16 个元素共享一个 FP8（E4M3）缩放假，块内元素则以 E2M1（1 位符号、2 位指数、1 位尾数）表示。这种两级缩放结构使 NVFP4 在保持极低存储位宽的同时，仍能覆盖较宽的动态范围，因而被视为训练与推理场景中兼顾效率与精度的候选格式。相比之下，BF16 采用 8 位指数与 7 位尾数，动态范围与 FP32 相当，是当前大模型预训练的主流精度。理解两者的表示差异有助于把握文中对比的实验含义：NVFP4 的尾数位极少，单次矩阵乘法的舍入误差显著大于 BF16，但分块缩放使其在统计意义上仍能保持无偏的梯度估计——这正是验证损失能够匹配、而稀有事实学习效率却出现分化的根本原因。

梯度噪声的来源与影响机制

研究进一步拆解了量化误差的作用路径。零均值梯度噪声能够复现仅量化反向传播时的成本，而仅量化反向传播对损失的影响微乎其微。在NVFP4误差加倍的控制实验中，仅注入到Adam二阶矩估计的噪声表现得像降低了学习率，其成本随训练逐渐消退；而注入到更新中的噪声则降低了信噪比，并承载了约三分之二的成本，且持续到训练结束。

提高学习率以补偿较小的平均步长并未能恢复成本，无论对于这种噪声还是NVFP4本身。这表明，简单地调整学习率无法抵消量化带来的稀有事实学习延迟。

Adam 优化器的二阶矩估计（second moment estimate）是对梯度平方的指数移动平均，记作 v_t，用于对每个参数的自适应学习率进行归一化。当反向传播被量化时，梯度中引入的零均值噪声会同时进入一阶矩（动量）与二阶矩的估计。关键区别在于：二阶矩估计中的噪声会系统性地抬高 v_t，使有效学习率被压低，表现为“学习率缩小”的效果；而注入到参数更新中的噪声则直接降低更新信号的信噪比，使模型在稀缺样本上的梯度方向被淹没。这解释了文中两类噪声成本的不同衰减行为——前者随训练推进、v_t 逐渐稳定而消退，后者则因持续影响每次更新的方向而贯穿整个训练过程。信噪比（SNR）在这里指真实梯度信号与量化噪声方差之比，是衡量低精度训练对学习动态影响的核心量。

用梯度统计预测量化成本

研究还提出了一种无需拟合的预测方法：BF16检查点的梯度统计量可以对不同格式、部分量化及噪声控制的成本进行排序，Spearman相关系数达到0.96。这意味着，通过分析梯度统计，可以在不重新训练的情况下预测量化配方对稀有事实学习的影响。

作者建议，在评估低精度训练配方时，应将稀有事实获取与损失一并测量。这一观点对追求极致效率的大模型预训练实践具有警示意义：当损失曲线看似正常时，模型对稀有知识的掌握可能已悄然滞后。

对低精度训练实践的启示

随着FP4等低精度格式在加速训练和降低内存方面受到关注，这项研究提醒从业者关注量化对知识获取的差异化影响。验证损失作为单一指标，可能不足以反映模型在长尾事实上的表现。未来的低精度配方评估，或许需要引入针对稀有事实的召回测试，或利用梯度统计进行早期诊断。

研究团队的方法论——控制暴露次数的合成数据实验与梯度噪声分析——为理解量化误差如何影响学习动态提供了可复用的框架。尽管实验基于模拟的4位矩阵乘法，但其结论对实际FP4硬件部署具有参考价值，尤其是在需要模型精确回忆特定事实的场景中。