概念Collective Communication Primitives
通信原语
多卡训练与推理中用于卡间数据交换的集合通信操作,如 AllReduce、AllGather、Broadcast、ReduceScatter 等,通常由 NCCL 等集合通信库实现,是并行策略实现的基础。
时间轴 (近 90 天)
11月2日
在多卡训练与推理中,卡间数据交换依赖通信原语,如 AllReduce、AllGather、Broadcast、ReduceScatter 等,通常由 NCCL 等集合通信库实现。
待验证50%
11月2日
不同并行策略(数据并行、张量并行、流水线并行)对通信原语的组合与频率要求不同,通信模式是负载分类的重要维度。
待验证50%
11月2日
若新框架的并行策略无法映射到已有通信原语,多卡性能会显著劣化。
待验证50%