待验证50% 置信事实精确时间
大语言模型的自回归生成过程需要频繁读取KV Cache（键值缓存），对内存带宽和容量提出极高要求
1
来源数
50%
置信度
长期有效
时效性
2026/9/12
首次发现
来源
涉及实体
相关事实
待验证大模型在生成长文本时需要缓存之前所有token的键值对（KV Cache），其内存占用随上下文长度线性增长，在高并发场景下极易成为内存瓶颈79% 相似待验证自回归解码阶段每生成一个新token都需读取完整KV Cache，使解码阶段几乎总是受限于内存带宽而非计算能力78% 相似待验证For million-token-level contexts, KV Cache can consume tens or even hundreds of gigabytes of GPU memory, becoming the primary bottleneck for long-context inference.77% 相似待验证缓存命中率在大模型API调用场景中指KV Cache（键值缓存）的复用比例，模型可直接从缓存中读取已处理token的注意力键值对75% 相似待验证大语言模型动辄数十GB，其加载时间和内存占用对传统弹性伸缩策略提出新挑战74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/910466API
curl https://kongchang.com/api/v1/knowledge/claims/910466MCP
get_claim(id=910466)