FP4
一种数值精度格式，使用4位存储浮点数，相比FP16/BF16可实现4倍内存压缩，代价是数值表示范围和精度有所下降，常用于大模型推理优化
核心事实
时间轴 (近 90 天)
低精度训练与推理（FP16、FP8、FP4）是当前大模型能扩展到万亿参数的关键。
FP4训练的成败由缩放契约、操作数格式和执行路径三者共同决定，是系统性工程问题而非仅计算精度问题
FP4方案的验证必须建立涵盖多样下游任务的评测基准，不能以收敛到更低loss作为唯一的方案选择标准
arXiv论文（arXiv:2610.00053）提出了名为'格式感知融合'（format-aware fusion）的方法，用于优化FP4预训练流程
论文发现下游任务的排名与训练损失的排名并不一致，训练损失更低的方案未必在下游评测中表现更好
bfloat16基线吞吐量为18.8K tokens/s/GPU，最快自定义路线达到37.9K tokens/s/GPU，几乎翻倍
标准FP4格式仅能表示十几个不同数值，必须配合缩放因子（scale factor）机制才能覆盖实际模型权重的分布范围
DeepGEMM-Ascend 库支持 BF16（16 位）、FP8（8 位）、FP4（4 位）数值格式
FP4/INT4量化下模型体积约为FP16的四分之一
从OpenRouter调用GLM 5.3 Flash时应避免使用FP4量化，FP8是速度与成本的最佳平衡
还有 6 条时间轴事件
全部知识事实 (20)
NVIDIA Blackwell架构（GB200/B200系列）在硬件层面引入了原生FP4张量核心
75%待验证GPT-OSS原生支持FP4混合精度，无需额外量化即可大幅压缩显存占用
90%待验证MoRI（Mixture of Routed Inference）量化通信策略在 dispatch 阶段使用 FP4 精度，combine 阶段使用 FP8 精度，实现了 2.56 倍的带宽压缩
90%待验证Blackwell架构支持FP4精度计算，FP4是目前商用AI芯片支持的最低精度格式
80%待验证许多深度学习模型在权重量化到4位后仍能保持95%以上的推理精度
75%待验证v4.1 Flash的专家权重直接以FP4（每参数4比特）出厂，从未发布过8-bit版本，接近该格式的压缩极限，无法进一步量化用于Agentic任务
60%待验证低精度训练与推理（FP16、FP8、FP4）是当前大模型能扩展到万亿参数的关键。
50%待验证论文发现下游任务的排名与训练损失的排名并不一致，训练损失更低的方案未必在下游评测中表现更好
50%待验证FP4方案的验证必须建立涵盖多样下游任务的评测基准，不能以收敛到更低loss作为唯一的方案选择标准
50%待验证FP4训练的成败由缩放契约、操作数格式和执行路径三者共同决定，是系统性工程问题而非仅计算精度问题
50%待验证arXiv论文（arXiv:2610.00053）提出了名为'格式感知融合'（format-aware fusion）的方法，用于优化FP4预训练流程
50%待验证bfloat16基线吞吐量为18.8K tokens/s/GPU，最快自定义路线达到37.9K tokens/s/GPU，几乎翻倍
50%待验证标准FP4格式仅能表示十几个不同数值，必须配合缩放因子（scale factor）机制才能覆盖实际模型权重的分布范围
50%待验证DeepGEMM-Ascend 库支持 BF16（16 位）、FP8（8 位）、FP4（4 位）数值格式
50%待验证FP4/INT4量化下模型体积约为FP16的四分之一
50%待验证从OpenRouter调用GLM 5.3 Flash时应避免使用FP4量化，FP8是速度与成本的最佳平衡
50%待验证V4.1 Flash使用CSA2（压缩稀疏注意力2）技术并结合FP4格式缓存数据，将全局KV Cache占用压缩到每token仅890字节
50%待验证FlashVision EXP模型总参数量为304B，采用MoE架构，推理时仅激活6个专家，配合FP4量化精度
50%待验证选择量化格式时宁可选稍大但不触发CPU卸载的格式（如FP4），也不要盲目追求最小文件
50%待验证FP4量化和Nunchaku等工具的成熟降低了本地AI生成的硬件门槛，使8GB显存也可运行
50%