待验证50% 置信事实精确时间
KV Cache将已计算的Key和Value矩阵缓存在GPU显存中,将生成复杂度从O(n²)降至O(n)
1
来源数
50%
置信度
长期有效
时效性
2026/9/5
首次发现
来源
涉及实体
相关事实
待验证KV Cache技术将已计算的K、V矩阵缓存在GPU显存中，可将推理速度提升数倍80% 相似待验证GPU显存中的KV Cache占用与输入Token数量线性相关69% 相似待验证KV Cache是vLLM、TensorRT-LLM、SGLang等主流推理引擎的标配优化65% 相似待验证NPU 针对低精度（INT8/FP16）矩阵乘法进行专门优化，在运行量化后的轻量级推理模型时能以 GPU 数分之一的功耗达到相近或更高的吞吐量63% 相似待验证CPU+GPU混合推理采用层级卸载机制，通过n_gpu_layers参数控制卸载层数，主要瓶颈是PCIe带宽延迟，通常使生成速度降至纯GPU推理的1/3到1/262% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/860968API
curl https://kongchang.com/api/v1/knowledge/claims/860968MCP
get_claim(id=860968)