PD分离架构

PD分离架构（Prefill-Decode分离架构）是大语言模型推理系统中的一种资源调度架构。该架构将推理过程中计算特性不同的两个阶段——计算密集型的Prefill（预填充）阶段与内存带宽密集型的Decode（解码）阶段——分别部署在独立的GPU节点上运行，以避免两阶段混合部署时的相互干扰，实现资源的针对性配置与优化，从而提升系统整体吞吐量和推理效率。