NVFP4
NVFP4是NVIDIA针对Blackwell架构推出的一种4位浮点(FP4)数值量化格式,属于低精度数值表示标准。该格式专为深度学习推理和训练场景设计,通过降低数值位宽来减少内存占用和计算开销,同时相较于传统整数量化格式在数值表达范围和精度损失控制上具有一定优势,主要用于大规模神经网络模型的高效部署与加速计算。
核心事实
时间轴 (近 90 天)
NVFP4 格式的 GLM-5.3 检查点约占 464 GB,单块 GB300 GPU 只有 252 GB 显存,因此模型无法装入单张 GPU。
本地实测中,Ripple 65B 的 NVFP4 版本在 DGX 工作站上 100% 本地推理,工具调用和智能体任务可正常工作,初期在 SGLang 上遇到问题,修复后运行顺畅。
提高学习率以补偿较小的平均步长未能恢复因量化噪声或NVFP4本身导致的稀有事实学习成本。
在NVFP4误差加倍的控制实验中,仅注入到Adam二阶矩估计的噪声表现得像降低了学习率,其成本随训练逐渐消退;注入到更新中的噪声则降低了信噪比,承载了约三分之二的成本,且持续到训练结束。
当两个模型均使用BF16矩阵乘法进行评估时,上述暴露次数倍数降至1.26倍(独立训练)和1.30倍(混合训练)。
在独立训练场景中,NVFP4达到与BF16相同稀有事实召回率所需的暴露次数是BF16的1.32倍;在混合网页文本训练场景中为1.52倍。
在合成传记数据上,当验证损失仅相差0.5%至2%时,NVFP4需要比BF16多1.32倍至1.52倍的暴露次数才能达到相同的稀有事实召回率。
NVFP4的尾数位极少,单次矩阵乘法的舍入误差显著大于BF16,但分块缩放使其在统计意义上仍能保持无偏的梯度估计。
博主使用vLLM以NVFP4精度运行NVIDIA Nemotron Nano模型,并通过Hermes设置自定义端点指向vLLM的8000端口,实现同时挂载llama.cpp下的Qwen 3.6和vLLM端点下的Nemotron Nano。
在稠密模型和MoE模型上,覆盖GQA和MLA两种注意力机制,使用NVFP4时,BitDecoding-FP4与BF16 KV的精度差距保持在0.5个百分点以内;使用MXFP4时,差距为1个百分点。
还有 40 条时间轴事件
全部知识事实 (20)
NVFP4是NVIDIA推出的4位浮点(FP4)量化格式,专为Blackwell架构GPU的硬件加速能力设计
90%已验证在RTX 5070(12GB显存)配置下,本地Qwen3 9B模型的输出速度达到约70-76 token/秒
80%已验证NVIDIA 在 Blackwell 架构(SM 100/103,如 B100、B200 系列)中为 NVFP4 设计了专用 Tensor Core 指令 mma.kind::mxf4,并采用每 16 个元素为一组的 FP8 缩放因子机制
80%已验证NVFP4是一种4位浮点量化格式,用于在保持模型精度的同时降低显存占用和提升推理吞吐
75%已验证NVFP4是NVIDIA推出的4位浮点格式(FP4),采用浮点表示(包含符号位、指数位和尾数位)以非均匀方式覆盖数值空间
65%已验证Unsloth团队发布了基于Dynamic v3量化方案的全新Qwen3.8-27B GGUF模型,在保持相同模型体积的前提下实现额外10%的top-1%精度提升
85%待验证NVFP4量化需要50系列NVIDIA显卡才能使用
85%待验证在非50系显卡上使用NVFP4会退化为软件模拟,导致显存占用大、精度差,无任何优势
85%部分验证816B 参数的 Muse Spark Open 经 NVFP4 量化后约占用 493GB 内存,FP16 存储则需超过 1.6TB。
80%待验证NVFP4量化在Blackwell架构上相比FP16吞吐量提升约40-50%
80%部分验证NVFP4 每个参数占 4 位,即 0.5 字节,理论上权重显存占用和加载带宽相比 FP8 减半。
75%待验证Nemotron 3.5 Super VL 可以部署在单台 DGX 系统上运行。
60%待验证NVFP4版Qwen3-27B采用敏感度感知混合精度:前馈层以FP4(E2M1)带FP8块缩放运行,注意力投影、DeltaNet递归层、视觉编码器和多Token预测头保持FP8或BF16
60%待验证NVFP4 格式的 GLM-5.3 检查点约占 464 GB,单块 GB300 GPU 只有 252 GB 显存,因此模型无法装入单张 GPU。
50%待验证本地实测中,Ripple 65B 的 NVFP4 版本在 DGX 工作站上 100% 本地推理,工具调用和智能体任务可正常工作,初期在 SGLang 上遇到问题,修复后运行顺畅。
50%待验证在NVFP4误差加倍的控制实验中,仅注入到Adam二阶矩估计的噪声表现得像降低了学习率,其成本随训练逐渐消退;注入到更新中的噪声则降低了信噪比,承载了约三分之二的成本,且持续到训练结束。
50%待验证NVFP4的尾数位极少,单次矩阵乘法的舍入误差显著大于BF16,但分块缩放使其在统计意义上仍能保持无偏的梯度估计。
50%待验证在合成传记数据上,当验证损失仅相差0.5%至2%时,NVFP4需要比BF16多1.32倍至1.52倍的暴露次数才能达到相同的稀有事实召回率。
50%待验证在独立训练场景中,NVFP4达到与BF16相同稀有事实召回率所需的暴露次数是BF16的1.32倍;在混合网页文本训练场景中为1.52倍。
50%待验证当两个模型均使用BF16矩阵乘法进行评估时,上述暴露次数倍数降至1.26倍(独立训练)和1.30倍(混合训练)。
50%