概念集合通信 / Collective Communication
集合通信原语
分布式训练中设备间协作传输数据的基础操作,常见的有broadcast、all-reduce、all-gather、reduce-scatter和all-to-all,通常假定参与设备的数据布局是对称或同构的。
时间轴 (近 90 天)
11月6日
常规集合通信原语(如all-gather、all-to-all)假定参与设备的数据布局是对称或同构的,而权重重载场景中源端与目标端的分片维度、设备数量和映射关系可能不同。
待验证50%