PD分离
LLM推理系统中将预填充（Prefill）阶段与解码（Decode）阶段分离部署的架构策略，通过独立扩展两个阶段的算力资源来优化整体推理吞吐量和延迟
时间轴 (近 90 天)
高吞吐prefill的常见优化策略包括chunked prefill、前缀缓存复用以及PD分离（prefill/decode解耦部署）。
DeepSeek采用PD分离架构，将Pre-fill阶段和Decode阶段部署到不同机器上，读题用8卡服务器，写答案用64到128卡超节点。
分布式推理并行策略包括张量并行（TP）、流水线并行（PP）、专家并行（EP）以及PD分离。
Chunked prefill通过将prefill切片与decode交错执行来缓解阻塞，但prefill与decode仍共享同一HBM带宽和SM，无法根本消除资源竞争
在1B级模型、16K到64K token prompt的玩具模拟中，PD拆分解耦将p99 inter-token延迟从5.0ms降至1.0ms，最坏卡顿从931ms降至1ms
如果团队已经在用PD分离部署vLLM，双向KV传输是顺势升级；如果还在单节点部署，需要考虑跨节点传输带来的网络依赖，因为EFA这类高速互联不是所有环境都具备。
PD分离将推理的Prefill阶段(计算密集)和Decode阶段(内存带宽密集)部署在不同实例上以独立扩缩和优化
PD分离会破坏数据局部性，预填充节点生成的KV缓存需通过网络传输给解码节点，随输入序列变长带宽消耗和延迟上升
OpenAI在其自研芯片上没有采用预填充与解码分离的PD架构
PD分离需要将KV Cache从Prefill实例搬到Decode实例，CX7网卡打满400Gbps IB约50GB/s，搬运40GB KV Cache需0.8秒
还有 1 条时间轴事件
全部知识事实 (11)
高吞吐prefill的常见优化策略包括chunked prefill、前缀缓存复用以及PD分离（prefill/decode解耦部署）。
50%待验证DeepSeek采用PD分离架构，将Pre-fill阶段和Decode阶段部署到不同机器上，读题用8卡服务器，写答案用64到128卡超节点。
50%待验证分布式推理并行策略包括张量并行（TP）、流水线并行（PP）、专家并行（EP）以及PD分离。
50%待验证Chunked prefill通过将prefill切片与decode交错执行来缓解阻塞，但prefill与decode仍共享同一HBM带宽和SM，无法根本消除资源竞争
50%待验证在1B级模型、16K到64K token prompt的玩具模拟中，PD拆分解耦将p99 inter-token延迟从5.0ms降至1.0ms，最坏卡顿从931ms降至1ms
50%待验证如果团队已经在用PD分离部署vLLM，双向KV传输是顺势升级；如果还在单节点部署，需要考虑跨节点传输带来的网络依赖，因为EFA这类高速互联不是所有环境都具备。
50%待验证PD分离将推理的Prefill阶段(计算密集)和Decode阶段(内存带宽密集)部署在不同实例上以独立扩缩和优化
50%待验证PD分离会破坏数据局部性，预填充节点生成的KV缓存需通过网络传输给解码节点，随输入序列变长带宽消耗和延迟上升
50%待验证OpenAI在其自研芯片上没有采用预填充与解码分离的PD架构
50%待验证PD分离需要将KV Cache从Prefill实例搬到Decode实例，CX7网卡打满400Gbps IB约50GB/s，搬运40GB KV Cache需0.8秒
50%待验证Splitwise、DistServe、Mooncake等系统都是PD分离的代表性实践
50%