FP8
以8位浮点数存储模型权重和/或激活的量化格式，精度损失极小，接近原始FP16/BF16精度，但内存占用约为4-bit量化的两倍
核心事实
时间轴 (近 90 天)
RTX A6000 是 Ampere 架构，没有原生 FP8 硬件，sglang 将 FP8 权重通过 Marlin 内核即时解包，基础 Qwen3.8-27B 在该卡上解码速度为 24 tok/s，而 RedHatAI 的 INT4 W4A16 量化在相同卡、相同 1M 上下文下达到 41 tok/s。
A100 也是 Ampere 架构，因此在 A100 上运行 FP8 量化模型也是低效的，应当选择 INT4 量化方案。
NVFP4 每个参数占 4 位，即 0.5 字节，理论上权重显存占用和加载带宽相比 FP8 减半。
FP8（E4M3/E5M2）每个参数占 1 字节，是当前 Hopper 与 Blackwell 上主流的低精度推理格式。
在生产环境中，可通过将KV Cache量化为FP8（vLLM的--kv-cache-dtype fp8）来减半KV Cache显存占用。
AWS 团队利用 Triton 的后端路由机制，让不同计算路径走到各自适合的后端实现，从而在 FP8 量化下保持数值稳定性。
AWS 工程团队在 Amazon SageMaker AI 上针对融合 MoE 模型进行了内核级优化，包括 Swap-AB 提升 WGMMA 利用率、Triton 后端路由实现 FP8 量化、消除 Triton JIT 重复编译。
低精度训练与推理（FP16、FP8、FP4）是当前大模型能扩展到万亿参数的关键。
MiniCPM-V 4.7 量化格式覆盖 GGUF、BNB、AWQ 和 GPTQ，并新增 FP8 量化支持，GGUF 版本已上传至 Hugging Face。
AWQ、GPTQ、FP8 是专门针对 CUDA GPU 优化的格式，无法在纯 CPU 环境下高效运行
还有 34 条时间轴事件
全部知识事实 (20)
NVFP4是NVIDIA推出的4位浮点（FP4）量化格式，专为Blackwell架构GPU的硬件加速能力设计
90%已验证FP8量化技术通过将权重压缩为8位表示，在几乎不损失精度的前提下将显存占用减少约50%
80%已验证FP8 是 8 位浮点格式，NVIDIA H100 等较新架构原生支持，相较于 FP16/BF16 可将数据量压缩一半
75%已验证量化（如INT8、FP8）能降低显存占用并提升吞吐，同时在多数场景下保持可接受的精度损失
75%已验证FP8数据量比FP16压缩一半，H100的FP8 Tensor Core算力达到FP16的两倍（约1979 TFLOPS）
75%已验证Flux 2的9B参数模型在FP16精度下模型权重约占18GB显存，通常需要24GB以上的GPU显存
65%待验证MoRI（Mixture of Routed Inference）量化通信策略在 dispatch 阶段使用 FP4 精度，combine 阶段使用 FP8 精度，实现了 2.56 倍的带宽压缩
90%部分验证在双Spark系统上，DeepSeek V4 Flash（FP8量化）峰值约每秒53个Token
65%待验证RTX A6000 是 Ampere 架构，没有原生 FP8 硬件，sglang 将 FP8 权重通过 Marlin 内核即时解包，基础 Qwen3.8-27B 在该卡上解码速度为 24 tok/s，而 RedHatAI 的 INT4 W4A16 量化在相同卡、相同 1M 上下文下达到 41 tok/s。
50%待验证A100 也是 Ampere 架构，因此在 A100 上运行 FP8 量化模型也是低效的，应当选择 INT4 量化方案。
50%待验证FP8（E4M3/E5M2）每个参数占 1 字节，是当前 Hopper 与 Blackwell 上主流的低精度推理格式。
50%待验证NVFP4 每个参数占 4 位，即 0.5 字节，理论上权重显存占用和加载带宽相比 FP8 减半。
50%待验证在生产环境中，可通过将KV Cache量化为FP8（vLLM的--kv-cache-dtype fp8）来减半KV Cache显存占用。
50%待验证AWS 团队利用 Triton 的后端路由机制，让不同计算路径走到各自适合的后端实现，从而在 FP8 量化下保持数值稳定性。
50%待验证AWS 工程团队在 Amazon SageMaker AI 上针对融合 MoE 模型进行了内核级优化，包括 Swap-AB 提升 WGMMA 利用率、Triton 后端路由实现 FP8 量化、消除 Triton JIT 重复编译。
50%待验证低精度训练与推理（FP16、FP8、FP4）是当前大模型能扩展到万亿参数的关键。
50%待验证MiniCPM-V 4.7 量化格式覆盖 GGUF、BNB、AWQ 和 GPTQ，并新增 FP8 量化支持，GGUF 版本已上传至 Hugging Face。
50%待验证在服务器上跑高并发的 vLLM 应选择 AWQ、GPTQ、FP8 量化版或官方 BF16 原版
50%待验证AWQ、GPTQ、FP8 是专门针对 CUDA GPU 优化的格式，无法在纯 CPU 环境下高效运行
50%待验证FP8数值范围较窄、精度更低，正确使用需要在GEMM内核层面实现精细的缩放因子管理与数值稳定性保障
50%