待验证50% 置信事实精确时间
在vLLM中，每个内存页通常存储固定数量Token的KV向量（例如16个），允许不同请求的KV Cache非连续地存储在物理内存中
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/7/2
首次发现
有效期至：2026/9/30
来源
vLLM Deep Dive: How PagedAttention Enables High-Throughput LLM Inference
githubvllm-project2026/6/6
相关事实
待验证vLLM的PagedAttention将KV缓存切分为固定大小物理块（通常16个token），使显存利用率从不足40%提升至接近90%75% 相似待验证vLLM引入PagedAttention技术将KV Cache分割为固定大小物理块按需分配，而llama.cpp采用预分配策略在模型加载时一次性保留完整KV Cache空间75% 相似待验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存75% 相似待验证vLLM通过PagedAttention技术将KV Cache的内存碎片率从60%以上压缩至接近零，在高并发场景下可将推理吞吐量提升数倍71% 相似待验证对于70B参数的模型，8K上下文的KV Cache可能额外占用数GB显存70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/54032API
curl https://kongchang.com/api/v1/knowledge/claims/54032MCP
get_claim(id=54032)