[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
Prefill-Decode分离架构 / PD分离 / 预填充-解码分离
P/D分离架构
LLM推理服务中将Prefill(预填充)阶段和Decode(解码)阶段分离到不同worker上独立处理的架构模式,旨在针对两阶段不同的计算特性分别优化以提升整体服务质量
来源文章
FluidPD:原地弹性调度破解LLM推理的P/D资源失衡难题
10月7日