MXFP8
微缩放(Microscaling)浮点格式的8位变体,由OCP Microscaling Formats规范定义,AMD、英特尔、NVIDIA、微软等公司联合推动的行业标准,通过块内共享缩放因子实现细粒度量化,分E4M3和E5M2两种变体
核心事实
时间轴 (近 90 天)
FlyDSL覆盖稠密与分组GEMM、融合多头注意力(FMHA/Attention)、MXFP8/MXFP4缩放GEMM、RMSNorm和TopK等核心操作。
在逐 token 保真度测试中,NVFP4 有 89%–90% 的概率与 BF16 选择相同的下一个 token,FP8 和 MXFP8 达到 94%–96%
在 GSM8K(1319 题,8192 token 上限)测试中,BF16 得 1249,FP8 得 1241,MXFP8 得 1250,NVFP4 得 1238,三种量化格式在 ±3 分容差内与 BF16 打平
在该测试中,读取 2048 token 提示时 FP8 预填充速度为 10,118 tok/s,领先于 BF16(7,003 tok/s)、NVFP4(6,978 tok/s)、MXFP8(6,061 tok/s)和 GGUF Q5_K_M(1,710 tok/s)
NVIDIA 于10月16日发布了 Nemotron Labs Dory 1.0 4B 的 BF16、NVFP4、MXFP8 和 GGUF 版本
MXFP8 是 OCP 提出的微缩放 8 位浮点格式,为每组若干元素共享一个缩放因子。
SkyRL 的 Day-0 支持将 LoRA、BF16 全量微调和 MXFP8 强化学习统一到 vLLM 推理与 Megatron-Bridge 训练框架中。
NVFP4是NVIDIA定义的块缩放4-bit浮点格式,每16个数共享一个FP8 scale;MXFP8是OCP定义的8-bit块浮点,每32个数共享一个E8M0 scale。
MXFP8 是一种带共享块缩放的八位格式(每 32 个元素共享一个缩放因子),在 Olmo-core 3 中减少了 GEMM 时间、保存的激活和 dispatch 负载,同时保留一份权威的 FP32 主权重。
在 1.2 万亿参数配置下,配合 MXFP8 和逐层重计算,Olmo-core 3 达到了每 GPU 858 useful-model TFLOP/s。
还有 9 条时间轴事件
全部知识事实 (20)
MXFP8属于微缩放浮点格式家族,其核心思想是在一小块数据内共享一个缩放因子
75%已验证MXFP4(Microscaling Float Point 4-bit)是由Microsoft、NVIDIA、AMD等公司联合推动的OCP MX标准的一部分
70%已验证MXFP4格式将一组元素(通常32个)共享一个8-bit缩放因子,每个元素用4-bit微型浮点数表示(1位符号+2位指数+1位尾数)
65%待验证MXFP4已获得NVIDIA Blackwell架构GPU的硬件原生支持
60%待验证FlyDSL覆盖稠密与分组GEMM、融合多头注意力(FMHA/Attention)、MXFP8/MXFP4缩放GEMM、RMSNorm和TopK等核心操作。
50%待验证在逐 token 保真度测试中,NVFP4 有 89%–90% 的概率与 BF16 选择相同的下一个 token,FP8 和 MXFP8 达到 94%–96%
50%待验证在该测试中,读取 2048 token 提示时 FP8 预填充速度为 10,118 tok/s,领先于 BF16(7,003 tok/s)、NVFP4(6,978 tok/s)、MXFP8(6,061 tok/s)和 GGUF Q5_K_M(1,710 tok/s)
50%待验证在 GSM8K(1319 题,8192 token 上限)测试中,BF16 得 1249,FP8 得 1241,MXFP8 得 1250,NVFP4 得 1238,三种量化格式在 ±3 分容差内与 BF16 打平
50%待验证MXFP8 是 OCP 提出的微缩放 8 位浮点格式,为每组若干元素共享一个缩放因子。
50%待验证SkyRL 的 Day-0 支持将 LoRA、BF16 全量微调和 MXFP8 强化学习统一到 vLLM 推理与 Megatron-Bridge 训练框架中。
50%待验证NVFP4是NVIDIA定义的块缩放4-bit浮点格式,每16个数共享一个FP8 scale;MXFP8是OCP定义的8-bit块浮点,每32个数共享一个E8M0 scale。
50%待验证MXFP8 是一种带共享块缩放的八位格式(每 32 个元素共享一个缩放因子),在 Olmo-core 3 中减少了 GEMM 时间、保存的激活和 dispatch 负载,同时保留一份权威的 FP32 主权重。
50%待验证在 1.2 万亿参数配置下,配合 MXFP8 和逐层重计算,Olmo-core 3 达到了每 GPU 858 useful-model TFLOP/s。
50%待验证MXFP8 是 OCP 定义的微缩放 FP8 格式,需要 torchao 等兼容栈配合;在 Blackwell 上可用于处理 aspect buckets。
50%待验证v0.30.0 简化了 KDA、AttnRes 与 MLA 相关的执行流程,并为部分模型加入 MXFP8 KV 缓存与异步 Engram 机制
50%待验证低精度FlashAttention-4(FA4 MX8)在FlashAttention-4基础上将前向与反向传播全面迁移到MXFP8微缩放低精度格式
50%待验证MXFP8有两种变体:E4M3(4位指数、3位尾数)和E5M2(5位指数、2位尾数)
50%待验证块级缩放相比张量级缩放能更细粒度适应张量内部数值分布差异,在梯度路径中数值稳定性更优
50%待验证NVFP4版Qwen3-27B采用敏感度感知混合精度:前馈层以FP4(E2M1)带FP8块缩放运行,注意力投影、DeltaNet递归层、视觉编码器和多Token预测头保持FP8或BF16
50%待验证NVIDIA 于10月16日发布了 Nemotron Labs Dory 1.0 4B 的 BF16、NVFP4、MXFP8 和 GGUF 版本
50%