概念FP8 / 8位浮点量化
FP8量化
将模型参数从FP16/FP32精度压缩到8位浮点表示的量化技术，保留浮点数指数位，相比INT8整数量化能更好保留模型精度，可降低约50%显存占用并提升推理吞吐量
时间轴 (近 90 天)
10月19日
FP8量化的GLM-5收益显著更高，一个合理解释是FP8模型单次prefill的计算吞吐更高，重复prefill的绝对耗时占比更大，因此省掉重计算的收益也更明显。
待验证50%
将模型参数从FP16/FP32精度压缩到8位浮点表示的量化技术，保留浮点数指数位，相比INT8整数量化能更好保留模型精度，可降低约50%显存占用并提升推理吞吐量
FP8量化的GLM-5收益显著更高，一个合理解释是FP8模型单次prefill的计算吞吐更高，重复prefill的绝对耗时占比更大，因此省掉重计算的收益也更明显。