待验证50% 置信事实精确时间

KV缓存的规律是：上下文长度翻倍缓存大致翻倍，并发满上下文请求翻倍缓存再翻倍

1

来源数

50%

置信度

长期有效

时效性

2026/8/12

首次发现

来源

24GB显存跑本地LLM？实际可用显存没那么多

相关事实

待验证提示词缓存通过在服务器端保存已计算的 KV 矩阵，将重复前缀的处理从 O(n²) 降低至 O(1) 的缓存读取，可实现高达90%的延迟和成本压缩74% 相似待验证KV缓存随上下文长度增加，显存占用可达总显存的60%以上72% 相似待验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存70% 相似已验证KV Cache占用的显存随序列长度线性增长70% 相似待验证KV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算，代价是显存占用随序列长度线性增长69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/735390

API

curl https://kongchang.com/api/v1/knowledge/claims/735390

MCP

get_claim(id=735390)