[控场AI]
概念Prefill-Decode分离架构 / PD分离 / 预填充-解码分离

P/D分离架构

LLM推理服务中将Prefill(预填充)阶段和Decode(解码)阶段分离到不同worker上独立处理的架构模式,旨在针对两阶段不同的计算特性分别优化以提升整体服务质量

来源文章