已验证90% 置信权衡取舍精确时间

KV Cache占用的显存随序列长度线性增长

7

来源数

90%

置信度

长期有效

时效性

2026/7/11

首次发现

来源

vLLM推理框架详解：吞吐优化核心原理与面试攻略

bilibiliAI大模型升升2026/6/9

相关事实

已验证KV Cache的显存占用随序列长度线性增长，700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB82% 相似已验证KV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算，代价是显存占用随序列长度线性增长79% 相似已验证KV缓存的大小随上下文长度线性增长，处理更长文本时显存消耗会显著增加77% 相似待验证在自回归推理中，KV cache的显存占用随序列长度线性增长，长上下文时可能与权重体积相当或更高75% 相似待验证KV缓存会随序列长度不断膨胀，换来强大的长程检索能力，代价是记忆无法被消化为模型的一部分74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/488192

API

curl https://kongchang.com/api/v1/knowledge/claims/488192

MCP

get_claim(id=488192)