[控场AI]
概念Prefill/Decode Disaggregation / 预填充解码分离

P/D分离

大模型推理领域的架构创新,将Prefill(预填充)和Decode(解码)两个计算阶段部署在不同节点上,针对各自计算特性独立扩容,以同时优化吞吐量和延迟

时间轴 (近 90 天)

10月19日

vLLM官方文档指出,分离式预填充(P/D分离)可以独立调节首Token延迟(TTFT)和Token间延迟(ITL),也能更可靠地控制ITL尾部抖动,但分离式预填充不会提升吞吐量。

待验证50%
10月19日

vLLM文档明确指出,P/D分离比分块预填充更可靠地降低ITL尾部延迟。

待验证50%
10月19日

在70B稠密模型、4张GPU分担预填充、每GPU有效算力400 TFLOPS、链路跑满线速且不计协议开销的假设下,传输耗时与预填充耗时的比值仅取决于模型形状、链路带宽和预填充吞吐,与Prompt长度无关。

待验证50%
10月19日

P/D分离的真正比较对象不是传输成本对比零成本,而是传输成本对比实际请求结构下同机预填充对p99 ITL的伤害。

待验证50%

全部知识事实 (4)

来源文章