AllReduce
分布式深度学习训练中的核心集合通信操作，用于在多个计算节点间汇聚并广播梯度数据，是大规模AI训练中网络通信的主要瓶颈之一
时间轴 (近 90 天)
在 batch size = 1 的小消息交换场景下，AllReduce 的性能由延迟主导，而非带宽，因此 x16 相对 x8 并不能显著降低延迟。
AllReduce本质上是分布式浮点求和，其结果依赖参与节点的响应顺序，在异步网络环境中天然不确定
张量并行将单个矩阵运算切分到多张GPU协作完成，每次运算后需进行AllReduce通信聚合结果
常见的集合通信操作包括AllReduce、AllGather和ReduceScatter，其中AllReduce将所有节点的梯度求和后广播回每个节点
AllReduce在每个训练迭代反向传播结束后要求所有GPU同步梯度，这一步骤在数千卡规模下可能消耗数十毫秒甚至更长时间
在大规模分布式训练中，前向传播、反向传播与AllReduce/AllGather通信操作相互交织，若某一通信操作未完成，下游计算算子必须等待，形成气泡（bubble）
在AI训练的集体通信操作（如AllReduce梯度聚合）中，整体性能由最慢的节点决定
分布式训练中的通信原语（如AllReduce梯度聚合）会因并行度配置、网络拓扑差异带来非确定性的累积误差
与AllReduce不同，All-to-All的流量模式高度不规则且难以预测，负载均衡偏差会出现热点
在张量并行推理中，AllReduce操作在每一层都会发生，对于数十乃至上百层的大模型，累积的通信数据量相当可观
还有 1 条时间轴事件
全部知识事实 (12)
在千卡规模下，一次AllReduce的延迟可能占到单步训练时间的30%以上
60%待验证在 batch size = 1 的小消息交换场景下，AllReduce 的性能由延迟主导，而非带宽，因此 x16 相对 x8 并不能显著降低延迟。
50%待验证AllReduce本质上是分布式浮点求和，其结果依赖参与节点的响应顺序，在异步网络环境中天然不确定
50%待验证张量并行将单个矩阵运算切分到多张GPU协作完成，每次运算后需进行AllReduce通信聚合结果
50%待验证常见的集合通信操作包括AllReduce、AllGather和ReduceScatter，其中AllReduce将所有节点的梯度求和后广播回每个节点
50%待验证AllReduce在每个训练迭代反向传播结束后要求所有GPU同步梯度，这一步骤在数千卡规模下可能消耗数十毫秒甚至更长时间
50%待验证在大规模分布式训练中，前向传播、反向传播与AllReduce/AllGather通信操作相互交织，若某一通信操作未完成，下游计算算子必须等待，形成气泡（bubble）
50%待验证在AI训练的集体通信操作（如AllReduce梯度聚合）中，整体性能由最慢的节点决定
50%待验证分布式训练中的通信原语（如AllReduce梯度聚合）会因并行度配置、网络拓扑差异带来非确定性的累积误差
50%待验证与AllReduce不同，All-to-All的流量模式高度不规则且难以预测，负载均衡偏差会出现热点
50%待验证在张量并行推理中，AllReduce操作在每一层都会发生，对于数十乃至上百层的大模型，累积的通信数据量相当可观
50%待验证数据并行将训练数据分片到多个GPU上，每个GPU持有完整的模型副本并独立计算梯度，然后通过AllReduce等集合通信操作同步梯度
50%