待验证50% 置信事实精确时间

70B模型上一个8192 Token的Prompt在BF16下产生2.68 GB的KV缓存。

1

来源数

50%

置信度

长期有效

时效性

2026/10/19

首次发现

来源

vLLM P/D分离：KV传输成本决定收益的计算法则

rss2026/10/19

涉及实体

Llama-3.1-70Bmodel KV缓存concept

相关事实

已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存79% 相似已验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存78% 相似已验证对于70B参数的模型，8K上下文的KV Cache可能额外占用数GB显存76% 相似已验证LLaMA-2-70B在128K上下文长度下单请求KV Cache可占用超过160GB显存75% 相似待验证该实验配置了 262,144 token 的原生上下文，KV cache 使用 FP8 存储，最多同时处理两个序列74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1069155

API

curl https://kongchang.com/api/v1/knowledge/claims/1069155

MCP

get_claim(id=1069155)