待验证50% 置信事实精确时间
若该70B模型使用经典多头注意力（MHA，64个KV头），相同条件下的KV Cache将膨胀到312.5 GiB。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证在64K上下文、batch=2、FP16 KV Cache下，该70B模型的KV Cache占用约39.06 GiB。75% 相似已验证对于70B参数的模型，8K上下文的KV Cache可能额外占用数GB显存70% 相似已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存70% 相似已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存69% 相似待验证以LLaMA-3 70B模型为例，在80层、head_dim=128、BF16精度下，每个token大约占用80KB的KV缓存68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1025446API
curl https://kongchang.com/api/v1/knowledge/claims/1025446MCP
get_claim(id=1025446)