产品
DistServe
一种面向LLM推理的分离式部署系统，将预填充阶段和解码阶段分别放置在独立GPU资源池上，以提升推理效率和服务质量
时间轴 (近 90 天)
9月16日
DistServe、Splitwise、Mooncake等系统已经实现了预填充与解码的分离式部署
待验证50%
9月10日
Splitwise、DistServe、Mooncake等系统都是PD分离的代表性实践
待验证50%
一种面向LLM推理的分离式部署系统，将预填充阶段和解码阶段分别放置在独立GPU资源池上，以提升推理效率和服务质量
DistServe、Splitwise、Mooncake等系统已经实现了预填充与解码的分离式部署
Splitwise、DistServe、Mooncake等系统都是PD分离的代表性实践