FP8
以8位浮点数存储模型权重和/或激活的量化格式，精度损失极小，接近原始FP16/BF16精度，但内存占用约为4-bit量化的两倍
核心事实
时间轴 (近 90 天)
在生产环境中，可通过将KV Cache量化为FP8（vLLM的--kv-cache-dtype fp8）来减半KV Cache显存占用。
AWS 团队利用 Triton 的后端路由机制，让不同计算路径走到各自适合的后端实现，从而在 FP8 量化下保持数值稳定性。
AWS 工程团队在 Amazon SageMaker AI 上针对融合 MoE 模型进行了内核级优化，包括 Swap-AB 提升 WGMMA 利用率、Triton 后端路由实现 FP8 量化、消除 Triton JIT 重复编译。
低精度训练与推理（FP16、FP8、FP4）是当前大模型能扩展到万亿参数的关键。
MiniCPM-V 4.7 量化格式覆盖 GGUF、BNB、AWQ 和 GPTQ，并新增 FP8 量化支持，GGUF 版本已上传至 Hugging Face。
在服务器上跑高并发的 vLLM 应选择 AWQ、GPTQ、FP8 量化版或官方 BF16 原版
AWQ、GPTQ、FP8 是专门针对 CUDA GPU 优化的格式，无法在纯 CPU 环境下高效运行
FP8数值范围较窄、精度更低，正确使用需要在GEMM内核层面实现精细的缩放因子管理与数值稳定性保障
FP8是英伟达在Hopper和Ada Lovelace架构引入的低精度数据格式，Ada架构的Tensor Core原生支持FP8运算
OpenDLSS NR的神经网络包含71个区块，使用FP8激活，全部权重约141MB
还有 30 条时间轴事件
全部知识事实 (20)
FP8量化技术通过将权重压缩为8位表示，在几乎不损失精度的前提下将显存占用减少约50%
80%已验证FP8 是 8 位浮点格式，NVIDIA H100 等较新架构原生支持，相较于 FP16/BF16 可将数据量压缩一半
75%已验证量化（如INT8、FP8）能降低显存占用并提升吞吐，同时在多数场景下保持可接受的精度损失
75%已验证FP8数据量比FP16压缩一半，H100的FP8 Tensor Core算力达到FP16的两倍（约1979 TFLOPS）
75%已验证Flux 2的9B参数模型在FP16精度下模型权重约占18GB显存，通常需要24GB以上的GPU显存
65%待验证MoRI（Mixture of Routed Inference）量化通信策略在 dispatch 阶段使用 FP4 精度，combine 阶段使用 FP8 精度，实现了 2.56 倍的带宽压缩
90%部分验证在双Spark系统上，DeepSeek V4 Flash（FP8量化）峰值约每秒53个Token
65%待验证在生产环境中，可通过将KV Cache量化为FP8（vLLM的--kv-cache-dtype fp8）来减半KV Cache显存占用。
50%待验证AWS 工程团队在 Amazon SageMaker AI 上针对融合 MoE 模型进行了内核级优化，包括 Swap-AB 提升 WGMMA 利用率、Triton 后端路由实现 FP8 量化、消除 Triton JIT 重复编译。
50%待验证AWS 团队利用 Triton 的后端路由机制，让不同计算路径走到各自适合的后端实现，从而在 FP8 量化下保持数值稳定性。
50%待验证低精度训练与推理（FP16、FP8、FP4）是当前大模型能扩展到万亿参数的关键。
50%待验证MiniCPM-V 4.7 量化格式覆盖 GGUF、BNB、AWQ 和 GPTQ，并新增 FP8 量化支持，GGUF 版本已上传至 Hugging Face。
50%待验证AWQ、GPTQ、FP8 是专门针对 CUDA GPU 优化的格式，无法在纯 CPU 环境下高效运行
50%待验证在服务器上跑高并发的 vLLM 应选择 AWQ、GPTQ、FP8 量化版或官方 BF16 原版
50%待验证FP8数值范围较窄、精度更低，正确使用需要在GEMM内核层面实现精细的缩放因子管理与数值稳定性保障
50%待验证OpenDLSS NR的神经网络包含71个区块，使用FP8激活，全部权重约141MB
50%待验证FP8是英伟达在Hopper和Ada Lovelace架构引入的低精度数据格式，Ada架构的Tensor Core原生支持FP8运算
50%待验证在每张卡 16384 个 Token、每个 Token 7168 个数（每数 2 字节）、复印 6 份的配置下，一次 Dispatch 单张卡需搬运约 1.4GB 数据，FP8 可将该量减半
50%待验证DeepGEMM-Ascend 库支持 BF16（16 位）、FP8（8 位）、FP4（4 位）数值格式
50%待验证FP8相比FP16减少一半内存占用和带宽消耗，且AIC对FP8的计算吞吐可达FP16的两倍
50%