待验证50% 置信事实精确时间

KV共享可以配合低精度KV缓存量化，包括fp8、mxfp8、nvfp4。

1

来源数

50%

置信度

长期有效

时效性

2026/10/23

首次发现

来源

BeNice! 用KV共享为循环架构省下推理内存

涉及实体

KV共享concept fp8concept mxfp8concept nvfp4concept

相关事实

待验证vLLM 支持 FP8 KV Cache 这一关键优化项。74% 相似待验证vLLM的`fp8` KV缓存格式对应E4M3，并提供三种校准方式：不校准（缩放因子默认1.0）、随机token预热、以及通过llm-compressor做数据集校准。72% 相似待验证GLM-5.3使用FP8 KV缓存支持完整的1M上下文71% 相似已验证KV Cache技术将已计算的K、V矩阵缓存在GPU显存中，可将推理速度提升数倍69% 相似待验证该方案的KV缓存统一采用BF16精度，模型权重部分采用MXFP4量化66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1088249

API

curl https://kongchang.com/api/v1/knowledge/claims/1088249

MCP

get_claim(id=1088249)