待验证50% 置信事实精确时间

KV缓存存储Transformer注意力计算中的键值对，随序列长度线性增长

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

TensorRT多设备推理：简化Dynamo-Triton的多GPU模型部署

涉及实体

KV缓存concept Transformertechnology

相关事实

已验证KV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算，代价是显存占用随序列长度线性增长78% 相似已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长76% 相似待验证KV缓存的大小随上下文长度线性增长，处理更长文本时显存消耗会显著增加76% 相似待验证KV缓存随上下文长度增加，显存占用可达总显存的60%以上75% 相似已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/939693

API

curl https://kongchang.com/api/v1/knowledge/claims/939693

MCP

get_claim(id=939693)