概念prefill-decode disaggregation / 分离式部署 / PD分离

分离式LLM推理

LLM推理架构设计范式，将计算密集的预填充阶段与内存带宽密集的解码阶段分别部署于独立GPU资源池，各自独立优化硬件配置和批处理策略，从而提升整体推理效率与服务质量

来源文章