产品
AttentionStore
面向大模型推理的注意力KV缓存持久化与管理系统，支持跨级存储（GPU/CPU/SSD）以扩展长会话和多轮对话场景下的KV缓存容量
时间轴 (近 90 天)
9月16日
Mooncake、LMCache、FlexGen、InfiniGen、AttentionStore等系统尝试用CPU DRAM和SSD扩展GPU显存容量
待验证50%
面向大模型推理的注意力KV缓存持久化与管理系统，支持跨级存储（GPU/CPU/SSD）以扩展长会话和多轮对话场景下的KV缓存容量
Mooncake、LMCache、FlexGen、InfiniGen、AttentionStore等系统尝试用CPU DRAM和SSD扩展GPU显存容量