待验证50% 置信事实精确时间
使用 KV Cache 后每轮 Q 投影只需计算 1×D_k 的向量，而无缓存时需计算 N×D_k 的完整矩阵
1
来源数
50%
置信度
长期有效
时效性
2026/9/15
首次发现
来源
涉及实体
相关事实
待验证KV缓存的大小由三个相乘的维度决定：每条记录的大小、多少个Token合成一条、层与层之间能否共用75% 相似待验证对于典型 7B 参数模型，每 1K token 的 KV Cache 约需 0.5–1GB 显存73% 相似已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长71% 相似已验证KV Cache的显存占用随序列长度线性增长，700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB70% 相似待验证VRAM 成为本地 LLM 上下文瓶颈的根本原因在于 KV Cache 机制，7B 模型每 1K token 的 KV Cache 约需 0.5–1GB 显存70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/923482API
curl https://kongchang.com/api/v1/knowledge/claims/923482MCP
get_claim(id=923482)