概念分层KV缓存 / 分层缓存
Tiered KV Cache
大语言模型推理系统中的多层级KV缓存架构，通常包含GPU显存（HBM）、CPU内存（DRAM）及NVMe SSD等存储层级，不同层级在访问延迟、容量和成本上存在显著差异
时间轴 (近 90 天)
10月6日
vLLM中的分层缓存体系通常称为Tiered KV Cache，可以跨越GPU HBM、CPU DRAM、NVMe SSD或远程分布式缓存等多个存储层级
待验证50%
大语言模型推理系统中的多层级KV缓存架构，通常包含GPU显存（HBM）、CPU内存（DRAM）及NVMe SSD等存储层级，不同层级在访问延迟、容量和成本上存在显著差异
vLLM中的分层缓存体系通常称为Tiered KV Cache，可以跨越GPU HBM、CPU DRAM、NVMe SSD或远程分布式缓存等多个存储层级