待验证50% 置信事实精确时间
vLLM中的分层缓存体系通常称为Tiered KV Cache，可以跨越GPU HBM、CPU DRAM、NVMe SSD或远程分布式缓存等多个存储层级
1
来源数
50%
置信度
长期有效
时效性
2026/10/6
首次发现
来源
涉及实体
相关事实
待验证分层内存架构将HBM、DRAM和CXL扩展内存池组织成层级结构，其中HBM作为高速缓存层、DRAM作为主内存层、CXL提供大容量可共享内存资源74% 相似待验证vLLM v0.28.0 的分层 KV 卸载（Tiered KV offloading）新增了磁盘层（disk tier），并支持树外（out-of-tree）二级缓存层71% 相似待验证vLLM引入PagedAttention技术将KV Cache分割为固定大小物理块按需分配，而llama.cpp采用预分配策略在模型加载时一次性保留完整KV Cache空间70% 相似待验证FP8 KV cache是将注意力机制中的Key-Value缓存从FP16或BF16压缩到8位的量化技术，可将KV cache显存占用减半70% 相似待验证GPU 在大模型推理时的核心瓶颈是内存带宽，自回归生成每个 Token 需从 HBM 加载完整 KV Cache，计算利用率通常不到 5%70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/982067API
curl https://kongchang.com/api/v1/knowledge/claims/982067MCP
get_claim(id=982067)