概念分布式权重数据并行 / Distributed Weight Data Parallelism

DWDP

SGLang提出的全新MoE预填充并行策略，通过NVLink P2P预取对等专家权重并在本地计算所有专家，消除专家并行中的全对全token分发开销，显著提升MoE模型预填充吞吐量

来源文章