待验证50% 置信事实精确时间

LLaMA-2-7B使用FP16精度时每个token的KV Cache约占0.5MB

1

来源数

50%

置信度

长期有效

时效性

2026/7/12

首次发现

来源

vLLM推理框架详解：吞吐优化核心原理与面试攻略

bilibiliAI大模型升升2026/6/9

相关事实

已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB82% 相似待验证LLaMA-2 70B单条32K上下文长度序列在FP16下KV缓存可达约80GB79% 相似待验证典型7B模型（32层、32头、128维度）在FP16精度下处理2048 token序列、批大小8时，KV Cache约消耗4GB显存75% 相似已验证Llama-3 70B模型在FP16精度下仅权重就需要约140GB显存74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/489345

API

curl https://kongchang.com/api/v1/knowledge/claims/489345

MCP

get_claim(id=489345)