已验证65% 置信事实精确时间
KV缓存的大小由三个相乘的维度决定:每条记录的大小、多少个Token合成一条、层与层之间能否共用
3
来源数
65%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证使用 KV Cache 后每轮 Q 投影只需计算 1×D_k 的向量,而无缓存时需计算 N×D_k 的完整矩阵75% 相似待验证KV缓存的规律是:上下文长度翻倍缓存大致翻倍,并发满上下文请求翻倍缓存再翻倍74% 相似已验证KV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算,代价是显存占用随序列长度线性增长74% 相似已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比,8K上下文下一个典型27B模型可能额外消耗2~4GB显存74% 相似待验证PagedAttention 将 KV Cache 切分为固定大小的块,按需动态分配,不同请求的块可以非连续存放72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/900717API
curl https://kongchang.com/api/v1/knowledge/claims/900717MCP
get_claim(id=900717)