待验证50% 置信基准精确时间
Llama 3.3 70B采用GQA后每token KV Cache约320KB
1
来源数
50%
置信度
长期有效
时效性
2026/9/23
首次发现
来源
涉及实体
相关事实
已验证LLaMA-2-7B使用FP16精度时每个token的KV Cache约占0.5MB76% 相似已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB75% 相似待验证LLaMA-2 7B 在上下文扩展到 32K token 时 KV Cache 显存膨胀至约 16 GB，接近单张消费级 GPU 的全部显存72% 相似待验证Llama 3.1 8B每个token的KV缓存开销约为128KB70% 相似待验证PagedAttention论文以OPT-13B、FP16举例，每个token约需800KB，2048个token约需1.6GB KV Cache69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/942620API
curl https://kongchang.com/api/v1/knowledge/claims/942620MCP
get_claim(id=942620)