[控场AI]
概念集合通信 / Collective Communication

集合通信原语

分布式训练中设备间协作传输数据的基础操作,常见的有broadcast、all-reduce、all-gather、reduce-scatter和all-to-all,通常假定参与设备的数据布局是对称或同构的。

时间轴 (近 90 天)

11月6日

常规集合通信原语(如all-gather、all-to-all)假定参与设备的数据布局是对称或同构的,而权重重载场景中源端与目标端的分片维度、设备数量和映射关系可能不同。

待验证50%

全部知识事实 (1)

来源文章