待验证50% 置信事实精确时间
对于使用GQA的70B模型（n_layers=80, n_kv_heads=8, head_dim=128, FP16缓存），单token的KV Cache大小约为320 KB。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证对于一个32层、4096维的模型,处理2048个Token的KV Cache约占用1GB显存75% 相似待验证以LLaMA-3 70B模型为例，在80层、head_dim=128、BF16精度下，每个token大约占用80KB的KV缓存75% 相似已验证对于70B参数的模型，8K上下文的KV Cache可能额外占用数GB显存74% 相似待验证100万Token在FP16精度下仅KV Cache一项即可消耗数百GB显存，远超单张A100/H100的80GB容量上限73% 相似已验证KV Cache的显存占用随序列长度线性增长，700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1025443API
curl https://kongchang.com/api/v1/knowledge/claims/1025443MCP
get_claim(id=1025443)