产品
InfiniGen
大模型推理KV缓存管理系统，支持将KV缓存下沉至CPU DRAM和SSD，通过预测性预取提升长上下文推理效率
时间轴 (近 90 天)
9月16日
Mooncake、LMCache、FlexGen、InfiniGen、AttentionStore等系统尝试用CPU DRAM和SSD扩展GPU显存容量
待验证50%
大模型推理KV缓存管理系统，支持将KV缓存下沉至CPU DRAM和SSD，通过预测性预取提升长上下文推理效率
Mooncake、LMCache、FlexGen、InfiniGen、AttentionStore等系统尝试用CPU DRAM和SSD扩展GPU显存容量