概念Prefill/Decode Disaggregation / 预填充解码分离
P/D分离
大模型推理领域的架构创新,将Prefill(预填充)和Decode(解码)两个计算阶段部署在不同节点上,针对各自计算特性独立扩容,以同时优化吞吐量和延迟
时间轴 (近 90 天)
10月19日
vLLM官方文档指出,分离式预填充(P/D分离)可以独立调节首Token延迟(TTFT)和Token间延迟(ITL),也能更可靠地控制ITL尾部抖动,但分离式预填充不会提升吞吐量。
待验证50%
10月19日
vLLM文档明确指出,P/D分离比分块预填充更可靠地降低ITL尾部延迟。
待验证50%
10月19日
在70B稠密模型、4张GPU分担预填充、每GPU有效算力400 TFLOPS、链路跑满线速且不计协议开销的假设下,传输耗时与预填充耗时的比值仅取决于模型形状、链路带宽和预填充吞吐,与Prompt长度无关。
待验证50%
10月19日
P/D分离的真正比较对象不是传输成本对比零成本,而是传输成本对比实际请求结构下同机预填充对p99 ITL的伤害。
待验证50%
全部知识事实 (4)
待验证
vLLM官方文档指出,分离式预填充(P/D分离)可以独立调节首Token延迟(TTFT)和Token间延迟(ITL),也能更可靠地控制ITL尾部抖动,但分离式预填充不会提升吞吐量。
50%待验证vLLM文档明确指出,P/D分离比分块预填充更可靠地降低ITL尾部延迟。
50%待验证在70B稠密模型、4张GPU分担预填充、每GPU有效算力400 TFLOPS、链路跑满线速且不计协议开销的假设下,传输耗时与预填充耗时的比值仅取决于模型形状、链路带宽和预填充吞吐,与Prompt长度无关。
50%待验证P/D分离的真正比较对象不是传输成本对比零成本,而是传输成本对比实际请求结构下同机预填充对p99 ITL的伤害。
50%