待验证50% 置信事实精确时间

随着上下文长度增加和并发请求增多，KV-Cache占用的显存迅速膨胀

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

LRU缓存淘汰算法为何难以被超越：KV-Cache论文的盲点

涉及实体

KV-Cacheconcept

相关事实

待验证长文档处理中，KV Cache机制导致显存占用随上下文长度近似平方级增长69% 相似待验证自回归模型随序列长度增加，KV Cache占用线性增长，显存带宽成为制约速度的硬件瓶颈67% 相似待验证超长上下文窗口的KV缓存显存占用随上下文长度线性增长，导致推理延迟和成本显著上升67% 相似待验证推理过程中动态增长的KV Cache会持续占用显存，长对话时可能突然触发OOM崩溃66% 相似待验证随着对话轮次增加，每轮需携带完整历史上下文，输入token数量持续膨胀，导致推理时间呈现非线性增长65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/917169

API

curl https://kongchang.com/api/v1/knowledge/claims/917169

MCP

get_claim(id=917169)