Unverified50% confidenceFactExact time
KV缓存的规律是：上下文长度翻倍缓存大致翻倍，并发满上下文请求翻倍缓存再翻倍
1
Sources
50%
Confidence
Long-term
Relevance
8/12/2026
First Seen
Sources
Related Claims
Unverified提示词缓存通过在服务器端保存已计算的 KV 矩阵，将重复前缀的处理从 O(n²) 降低至 O(1) 的缓存读取，可实现高达90%的延迟和成本压缩74% similarUnverifiedKV缓存随上下文长度增加，显存占用可达总显存的60%以上72% similarUnverifiedKV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存70% similarVerifiedKV Cache占用的显存随序列长度线性增长70% similarUnverifiedKV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算，代价是显存占用随序列长度线性增长69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/735390API
curl https://kongchang.com/api/v1/knowledge/claims/735390MCP
get_claim(id=735390)