FP4
一种数值精度格式，使用4位存储浮点数，相比FP16/BF16可实现4倍内存压缩，代价是数值表示范围和精度有所下降，常用于大模型推理优化
核心事实
时间轴 (近 90 天)
FP4 精度损失对 KV 缓存这类对长程依赖敏感的数据更为苛刻，通常需要配合逐通道或逐 token 缩放策略，以及可能的敏感层保留高精度做法。
INT4 采用均匀量化，而 FP4 保留指数位，能够更好地覆盖激活值中的长尾分布。
FP4 量化通常需要配合块级缩放或微观缩放因子使用。
DeepInfer对硬件提出三个期望：专家权重用FP4、激活和KV用FP8、缩放因子用UE8M0的低精度格式；每Token的KV Cache小于1KB；瓶颈转向大规模高速互联和设备端通信。
DeepSeek 1017 的专家权重已是 FP4（每参数 4bit），常规 4bit 量化帮助不大；Engram 记忆表可放 SSD（每 Token 只读约 12KB），但专家权重必须驻留高速内存，因为路由器每层从 384 个专家中选 6 个且逐 Token 选择不同。
RTX 4070 Ti SUPER 采用 Ada 架构，具有 16GB 显存，且没有 FP4 计算单元
低精度训练与推理（FP16、FP8、FP4）是当前大模型能扩展到万亿参数的关键。
bfloat16基线吞吐量为18.8K tokens/s/GPU，最快自定义路线达到37.9K tokens/s/GPU，几乎翻倍
arXiv论文（arXiv:2610.00053）提出了名为'格式感知融合'（format-aware fusion）的方法，用于优化FP4预训练流程
论文发现下游任务的排名与训练损失的排名并不一致，训练损失更低的方案未必在下游评测中表现更好
还有 12 条时间轴事件
全部知识事实 (20)
NVIDIA Blackwell架构（GB200/B200系列）在硬件层面引入了原生FP4张量核心
75%待验证GPT-OSS原生支持FP4混合精度，无需额外量化即可大幅压缩显存占用
90%待验证MoRI（Mixture of Routed Inference）量化通信策略在 dispatch 阶段使用 FP4 精度，combine 阶段使用 FP8 精度，实现了 2.56 倍的带宽压缩
90%待验证Blackwell架构支持FP4精度计算，FP4是目前商用AI芯片支持的最低精度格式
80%待验证许多深度学习模型在权重量化到4位后仍能保持95%以上的推理精度
75%待验证v4.1 Flash的专家权重直接以FP4（每参数4比特）出厂，从未发布过8-bit版本，接近该格式的压缩极限，无法进一步量化用于Agentic任务
60%待验证FP4 精度损失对 KV 缓存这类对长程依赖敏感的数据更为苛刻，通常需要配合逐通道或逐 token 缩放策略，以及可能的敏感层保留高精度做法。
50%待验证FP4 量化通常需要配合块级缩放或微观缩放因子使用。
50%待验证INT4 采用均匀量化，而 FP4 保留指数位，能够更好地覆盖激活值中的长尾分布。
50%待验证DeepInfer对硬件提出三个期望：专家权重用FP4、激活和KV用FP8、缩放因子用UE8M0的低精度格式；每Token的KV Cache小于1KB；瓶颈转向大规模高速互联和设备端通信。
50%待验证DeepSeek 1017 的专家权重已是 FP4（每参数 4bit），常规 4bit 量化帮助不大；Engram 记忆表可放 SSD（每 Token 只读约 12KB），但专家权重必须驻留高速内存，因为路由器每层从 384 个专家中选 6 个且逐 Token 选择不同。
50%待验证RTX 4070 Ti SUPER 采用 Ada 架构，具有 16GB 显存，且没有 FP4 计算单元
50%待验证低精度训练与推理（FP16、FP8、FP4）是当前大模型能扩展到万亿参数的关键。
50%待验证arXiv论文（arXiv:2610.00053）提出了名为'格式感知融合'（format-aware fusion）的方法，用于优化FP4预训练流程
50%待验证论文发现下游任务的排名与训练损失的排名并不一致，训练损失更低的方案未必在下游评测中表现更好
50%待验证FP4方案的验证必须建立涵盖多样下游任务的评测基准，不能以收敛到更低loss作为唯一的方案选择标准
50%待验证FP4训练的成败由缩放契约、操作数格式和执行路径三者共同决定，是系统性工程问题而非仅计算精度问题
50%待验证bfloat16基线吞吐量为18.8K tokens/s/GPU，最快自定义路线达到37.9K tokens/s/GPU，几乎翻倍
50%待验证标准FP4格式仅能表示十几个不同数值，必须配合缩放因子（scale factor）机制才能覆盖实际模型权重的分布范围
50%待验证DeepGEMM-Ascend 库支持 BF16（16 位）、FP8（8 位）、FP4（4 位）数值格式
50%