待验证50% 置信事实精确时间
大模型在生成长文本时需要缓存之前所有token的键值对（KV Cache），其内存占用随上下文长度线性增长，在高并发场景下极易成为内存瓶颈
1
来源数
50%
置信度
长期有效
时效性
2026/9/6
首次发现
来源
涉及实体
相关事实
待验证上下文越长，模型需要缓存的 KV Cache 越大，KV Cache 使模型生成新 Token 时无需重新计算所有历史 Token 的注意力权重77% 相似待验证自回归解码阶段每生成一个新token都需读取完整KV Cache，使解码阶段几乎总是受限于内存带宽而非计算能力76% 相似待验证在自回归推理中，KV cache的显存占用随序列长度线性增长，长上下文时可能与权重体积相当或更高75% 相似待验证缓存命中率在大模型API调用场景中指KV Cache（键值缓存）的复用比例，模型可直接从缓存中读取已处理token的注意力键值对75% 相似待验证vLLM通过PagedAttention技术将KV Cache的内存碎片率从60%以上压缩至接近零，在高并发场景下可将推理吞吐量提升数倍72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/868130API
curl https://kongchang.com/api/v1/knowledge/claims/868130MCP
get_claim(id=868130)