Concept分布式权重数据并行 / Distributed Weight Data Parallelism
DWDP
SGLang提出的全新MoE预填充并行策略，通过NVLink P2P预取对等专家权重并在本地计算所有专家，消除专家并行中的全对全token分发开销，显著提升MoE模型预填充吞吐量
Timeline (last 90 days)
Sep 11
SGLang推出DWDP（分布式权重数据并行）预填充并行策略，通过NVLink P2P预取对等专家权重并在本地计算，消除EP的全对全token分发开销
Unverified50%
Sep 11
在4张B200上运行gpt-oss-120b纯预填充测试中，DWDP4在MNT 32K/ISL 32K配置下相比DEP4达到1.92倍加速，饱和状态下实现506K对329K tok/s（1.54倍）吞吐提升
Unverified50%