Unverified50% confidenceBenchmarkExact time
以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存
1
Sources
50%
Confidence
Long-term
Relevance
7/20/2026
First Seen
Sources
Related Claims
Unverified以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存80% similarUnverified对于 LLaMA-2 70B 模型，处理 4096 token 的上下文时，FP16 精度下 KV Cache 约需 20GB 系统内存78% similarUnverified以 Llama-3 70B 为例，在 A100 80GB GPU 上处理 32K token 的预填充阶段约需 800-1200ms，而处理 2K token 仅需约 50ms76% similarUnverified在vLLM中，每个内存页通常存储固定数量Token的KV向量（例如16个），允许不同请求的KV Cache非连续地存储在物理内存中75% similarUnverified本地运行的开源LLM模型通常只有4K到32K tokens的上下文容量，受硬件内存限制73% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/573208API
curl https://kongchang.com/api/v1/knowledge/claims/573208MCP
get_claim(id=573208)