待验证50% 置信事实精确时间
常规全注意力解码层的KV缓存估算公式为 KV bytes = 2 × L × Hkv × D × T × C × S，其中2代表键和值，L是注意力层数，Hkv是每层键/值头数，D是每个键/值头维度，T是每条序列缓存的token数，C是每个缓存元素的字节数，S是独立序列数。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证Llama 3.3 70B的KV缓存计算公式为：2（键和值）× 80层 × 8个KV头 × 128头维度 × 2字节 = 每token 327,680字节。76% 相似已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存75% 相似已验证KV缓存的大小由三个相乘的维度决定：每条记录的大小、多少个Token合成一条、层与层之间能否共用72% 相似已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长70% 相似待验证长上下文注意力计算开销随序列长度平方增长，且需为每个token缓存Key和Value向量（KV Cache），1M上下文下KV Cache可达数百GB级别。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1057303API
curl https://kongchang.com/api/v1/knowledge/claims/1057303MCP
get_claim(id=1057303)