待验证50% 置信事实精确时间

KV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算，代价是显存占用随序列长度线性增长

1

来源数

50%

置信度

长期有效

时效性

2026/7/15

首次发现

来源

AI推理提效两条路径：测试时扩展与形式化验证

相关事实

已验证KV Cache占用的显存随序列长度线性增长79% 相似待验证KV缓存随上下文长度增加，显存占用可达总显存的60%以上77% 相似已验证KV Cache的显存占用随序列长度线性增长，700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB75% 相似待验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存73% 相似待验证准确估算模型显存占用需考虑 KV Cache、推理框架运行时开销（通常额外消耗 0.5–2 GB）和激活值等多个维度73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/515807

API

curl https://kongchang.com/api/v1/knowledge/claims/515807

MCP

get_claim(id=515807)