产品
Mooncake
Mooncake是面向大语言模型（LLM）分布式推理场景的KV Cache传输与管理系统。它通过在分布式节点间高效调度和传输KV Cache数据，优化推理吞吐量与延迟表现，支持prefill与decode阶段的解耦部署，并具备peer节点故障自动恢复能力，以提升推理集群的可靠性与资源利用效率。
时间轴 (近 90 天)
10月19日
Mooncake、LMCache 这类系统围绕“以 KV Cache 为中心”的调度来设计，把缓存复用与分层卸载做成独立服务。
待验证50%
9月16日
Mooncake、LMCache、FlexGen、InfiniGen、AttentionStore等系统尝试用CPU DRAM和SSD扩展GPU显存容量
待验证50%
9月16日
DistServe、Splitwise、Mooncake等系统已经实现了预填充与解码的分离式部署
待验证50%
9月10日
Splitwise、DistServe、Mooncake等系统都是PD分离的代表性实践
待验证50%
全部知识事实 (6)
待验证
Mooncake通过RDMA网络实现近乎零拷贝的跨节点KV Cache共享
85%待验证Mooncake是月之暗面（Moonshot AI）开源的分布式KV Cache传输框架
60%待验证Mooncake、LMCache 这类系统围绕“以 KV Cache 为中心”的调度来设计，把缓存复用与分层卸载做成独立服务。
50%待验证Mooncake、LMCache、FlexGen、InfiniGen、AttentionStore等系统尝试用CPU DRAM和SSD扩展GPU显存容量
50%待验证DistServe、Splitwise、Mooncake等系统已经实现了预填充与解码的分离式部署
50%待验证Splitwise、DistServe、Mooncake等系统都是PD分离的代表性实践
50%