模型GLM-5
GLM-5-FP8
智谱AI推出的GLM系列大模型，采用FP8量化格式部署，适用于推理加速场景
时间轴 (近 90 天)
10月19日
在Amazon EC2 P5en实例上配合EFA网络，GLM-5-FP8的TTFT最高提升3.3倍。
待验证50%
10月19日
FP8量化的GLM-5收益显著更高，一个合理解释是FP8模型单次prefill的计算吞吐更高，重复prefill的绝对耗时占比更大，因此省掉重计算的收益也更明显。
待验证50%
10月19日
3.3倍是特定配置下的峰值而非普遍值，模型规模、量化精度、上下文长度都会影响最终倍率。
待验证50%