llm-compressor

vLLM的`fp8` KV缓存格式对应E4M3，并提供三种校准方式：不校准（缩放因子默认1.0）、随机token预热、以及通过llm-compressor做数据集校准。

生产环境建议使用llm-compressor进行数据集校准来获取FP8 KV缓存的缩放因子，而不是依赖默认缩放因子1.0。

llm-compressor是vLLM生态中的模型量化工具库，支持对权重和激活进行FP8、INT8等量化，并提供基于数据集的校准流程。