[控场AI]
概念全对全通信

All-to-All

一种集合通信操作,每个设备将数据分发给所有其他设备并接收数据,在 MoE 专家并行中用于路由 token 到对应专家,通信量对带宽和延迟敏感。

时间轴 (近 90 天)

11月12日

全对全通信(All-to-All)是一种集合通信操作,每个设备将自己持有的数据分发给所有其他设备,同时从所有其他设备接收数据。

待验证50%
11月12日

TorchTitan 的细粒度控制可以针对 All-to-All 通信做调度与重叠,将通信隐藏在计算之后,从而缓解公共集群互联带宽不足的问题。

待验证50%
11月12日

在 MoE 的专家并行中,每次前向和反向传播都需要执行 All-to-All 通信,其通信量与 token 数量、专家数量和隐藏维度相关。

待验证50%
11月5日

专家并行(expert parallelism)把不同专家分布到不同 GPU 上,配合 All-to-All 通信完成 token 的分发与汇聚,是 MoE 训练系统实现的关键。

待验证50%
10月4日

与AllReduce不同,All-to-All的流量模式高度不规则且难以预测,负载均衡偏差会出现热点

待验证50%
10月3日

All-to-All 通信要求每张卡向其他每张卡分别发送不同数据块,通信量随卡数平方级增长

待验证50%
9月24日

专家并行(Expert Parallelism)将不同专家分配到不同GPU设备上,token在设备间的路由和聚合需要高效的All-to-All通信原语

待验证50%

全部知识事实 (7)

来源文章