待验证50% 置信事实精确时间

随着上下文长度增加，KV Cache的内存占用会急剧膨胀，成为限制并发数的关键因素

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

全栈NIM优化：Nemotron 3 Ultra并发用户量提升2.5倍

涉及实体

KV Cacheconcept

相关事实

待验证大模型在生成长文本时需要缓存之前所有token的键值对（KV Cache），其内存占用随上下文长度线性增长，在高并发场景下极易成为内存瓶颈79% 相似待验证上下文越长，需要存储和检索的KV Cache越大，GPU显存消耗呈线性增长77% 相似待验证在自回归推理中，KV cache的显存占用随序列长度线性增长，长上下文时可能与权重体积相当或更高75% 相似已验证当上下文长度扩展至百万Token时，KV Cache本身就会占用数十GB显存73% 相似待验证上下文长度从4K扩展到8K时，KV Cache占用的显存会近乎翻倍68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/906888

API

curl https://kongchang.com/api/v1/knowledge/claims/906888

MCP

get_claim(id=906888)