待验证50% 置信事实精确时间
Llama 3.3 70B的KV缓存计算公式为：2（键和值）× 80层 × 8个KV头 × 128头维度 × 2字节 = 每token 327,680字节。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证以LLaMA-3 70B模型为例，在80层、head_dim=128、BF16精度下，每个token大约占用80KB的KV缓存74% 相似已验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存73% 相似已验证KV缓存的大小由三个相乘的维度决定：每条记录的大小、多少个Token合成一条、层与层之间能否共用72% 相似已验证KV缓存的大小与上下文长度线性增长，Qwen 2.5 32B 在64K上下文下的KV缓存可能额外占用数GB内存70% 相似已验证LLaMA-2 7B 在 4096 Token 上下文下 KV Cache 约占 2 GB，扩展到 32K 上下文时可飙升至 16 GB 以上69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1019925API
curl https://kongchang.com/api/v1/knowledge/claims/1019925MCP
get_claim(id=1019925)