概念全归约 / AllReduce
all-reduce
一种集合通信原语，用于将分布在多张GPU上的部分结果汇总成完整结果并广播回所有参与方，是张量并行中每层前向计算的关键通信操作，对带宽和延迟高度敏感，环形算法下耗时约与参与卡数成正比。
时间轴 (近 90 天)
10月14日
抽象泄漏的典型场景包括分布式训练卡在all-reduce、混合精度导致梯度溢出、自定义算子不被支持。
待验证50%
10月12日
张量并行每一层前向计算几乎都要执行一次all-reduce等集合通信，通信频率随层数线性增长，对带宽和延迟极度敏感。
待验证50%
10月12日
all-reduce在环形算法下，其耗时约与参与卡数成正比。
待验证50%
10月7日
在all-reduce等集合通信操作中，一块GPU的网络异常足以拖慢整个训练作业
待验证50%
9月23日
在数据并行训练中，每块GPU独立计算mini-batch梯度，然后通过all-reduce将所有GPU梯度求和或取平均再同步回各卡以保持模型参数一致
待验证50%