待验证50% 置信事实精确时间
KV 缓存将每步矩阵乘法从大矩阵乘大矩阵退化为向量乘矩阵，运算量骤减，但需读入全部缓存 K/V，算术强度大幅下降，性能瓶颈从 SM 运算单元转移到 HBM 带宽和 kernel 启动等固定开销。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
已验证提示词缓存通过在服务器端保存已计算的 KV 矩阵，将重复前缀的处理从 O(n²) 降低至 O(1) 的缓存读取，可实现高达90%的延迟和成本压缩77% 相似已验证KV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算，代价是显存占用随序列长度线性增长76% 相似待验证使用 KV 缓存后，单 token 延迟基本保持平缓，不再随上下文长度显著增长，表明瓶颈不再是矩阵乘法，而是 CPU 侧调度、kernel 启动开销或 GPU 显存带宽等固定开销。76% 相似待验证Prompt缓存（KV Cache）在相同系统提示多次使用时可复用缓存的KV矩阵，通常将延迟降低40-60%、成本降低50-90%74% 相似待验证在超长上下文下将承担 KV cache 开销的层数压缩到总层数四分之一，可大幅降低长上下文推理的显存成本，是长上下文模型架构演进的重要方向73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1060144API
curl https://kongchang.com/api/v1/knowledge/claims/1060144MCP
get_claim(id=1060144)