待验证50% 置信事实精确时间
FP8 KV缓存同时把并发序列的显存占用和网络上搬运的字节数减半。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
vLLM P/D分离：KV传输成本决定收益的计算法则
rss2026/10/19
涉及实体
相关事实
待验证FP8 KV cache是将注意力机制中的Key-Value缓存从FP16或BF16压缩到8位的量化技术，可将KV cache显存占用减半80% 相似待验证将 KV 缓存从 FP16 降至 INT8 可节省 50% 显存，降至 INT4 则节省 75%78% 相似已验证提示词缓存通过在服务器端保存已计算的 KV 矩阵，将重复前缀的处理从 O(n²) 降低至 O(1) 的缓存读取，可实现高达90%的延迟和成本压缩73% 相似待验证KV 缓存将每步矩阵乘法从大矩阵乘大矩阵退化为向量乘矩阵，运算量骤减，但需读入全部缓存 K/V，算术强度大幅下降，性能瓶颈从 SM 运算单元转移到 HBM 带宽和 kernel 启动等固定开销。71% 相似已验证量化KV缓存（如FP8或INT4存储KV向量）可将缓存大小压缩到原来的1/2甚至1/471% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069163API
curl https://kongchang.com/api/v1/knowledge/claims/1069163MCP
get_claim(id=1069163)