[控场AI]
概念Collective Communication Primitives

通信原语

多卡训练与推理中用于卡间数据交换的集合通信操作,如 AllReduce、AllGather、Broadcast、ReduceScatter 等,通常由 NCCL 等集合通信库实现,是并行策略实现的基础。

时间轴 (近 90 天)

11月2日

在多卡训练与推理中,卡间数据交换依赖通信原语,如 AllReduce、AllGather、Broadcast、ReduceScatter 等,通常由 NCCL 等集合通信库实现。

待验证50%
11月2日

不同并行策略(数据并行、张量并行、流水线并行)对通信原语的组合与频率要求不同,通信模式是负载分类的重要维度。

待验证50%
11月2日

若新框架的并行策略无法映射到已有通信原语,多卡性能会显著劣化。

待验证50%

全部知识事实 (3)

来源文章