待验证50% 置信事实精确时间
对于具有L层、隐藏维度为d的模型，单个token的KV Cache占用为2×L×d×sizeof(float16)字节
1
来源数
50%
置信度
长期有效
时效性
2026/8/7
首次发现
来源
相关事实
待验证vLLM引入PagedAttention技术将KV Cache分割为固定大小物理块按需分配，而llama.cpp采用预分配策略在模型加载时一次性保留完整KV Cache空间71% 相似待验证在长上下文场景（如128K token窗口模型）中，KV Cache的显存占用可能超过模型权重本身69% 相似待验证vLLM的PagedAttention将KV Cache划分为固定大小物理块，通过块表实现地址映射，将碎片化率从60-80%降至不足4%，吞吐量提升可达24倍68% 相似待验证长上下文场景下2×32G方案因KV Cache无需跨卡读取，稳定性优于4×16G方案65% 相似待验证运行大模型除模型本身外还需预留1-2GB显存用于KV Cache（键值缓存）65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/705556API
curl https://kongchang.com/api/v1/knowledge/claims/705556MCP
get_claim(id=705556)