已验证65% 置信事实精确时间
KV cache 是 Transformer 推理时存储每一层每个 token 对应的 Key 和 Value 向量的数据结构，它将每步注意力计算量从 O(n²) 降为 O(n)，代价是显存占用随序列长度线性增加。
3
来源数
65%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证KV cache 的显存占用随上下文长度线性增长，且每个并发请求、每条序列都维护一份独立缓存。80% 相似待验证KV缓存存储Transformer注意力计算中的键值对，随序列长度线性增长78% 相似已验证KV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算，代价是显存占用随序列长度线性增长77% 相似已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长76% 相似已验证KV缓存的大小由三个相乘的维度决定：每条记录的大小、多少个Token合成一条、层与层之间能否共用75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1041470API
curl https://kongchang.com/api/v1/knowledge/claims/1041470MCP
get_claim(id=1041470)