待验证50% 置信事实精确时间

vLLM的`fp8` KV缓存格式对应E4M3，并提供三种校准方式：不校准（缩放因子默认1.0）、随机token预热、以及通过llm-compressor做数据集校准。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/19

首次发现

有效期至：2027/1/17

来源

一个参数让128K上下文塞进4090：FP8 KV缓存量化实战

rss2026/10/19

涉及实体

vLLMproduct llm-compressorproduct E4M3concept

相关事实

待验证GLM-5.3使用FP8 KV缓存支持完整的1M上下文75% 相似待验证vLLM 支持 FP8 KV Cache 这一关键优化项。74% 相似待验证KV Cache是vLLM、TensorRT-LLM、SGLang等主流推理引擎的标配优化74% 相似待验证vLLM 线性后端需要处理的输入矩阵可能是 FP16、BF16、INT8 或各种 GPTQ/AWQ 量化格式69% 相似待验证IQuest-Q1 的 day-0 支持源于针对 vLLM 已有的三大能力——混合 KV 缓存、sink attention 路径、EAGLE 推测解码——来设计模型架构68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1067335

API

curl https://kongchang.com/api/v1/knowledge/claims/1067335

MCP

get_claim(id=1067335)