产品
LMCache
大模型推理KV缓存管理系统，支持多级存储（GPU HBM/CPU DRAM/SSD）扩展，旨在降低长上下文推理的显存占用和成本
时间轴 (近 90 天)
9月16日
Mooncake、LMCache、FlexGen、InfiniGen、AttentionStore等系统尝试用CPU DRAM和SSD扩展GPU显存容量
待验证50%
大模型推理KV缓存管理系统，支持多级存储（GPU HBM/CPU DRAM/SSD）扩展，旨在降低长上下文推理的显存占用和成本
Mooncake、LMCache、FlexGen、InfiniGen、AttentionStore等系统尝试用CPU DRAM和SSD扩展GPU显存容量