待验证50% 置信事实精确时间

在大规模分布式训练中，前向传播、反向传播与AllReduce/AllGather通信操作相互交织，若某一通信操作未完成，下游计算算子必须等待，形成气泡（bubble）

1

来源数

50%

置信度

长期有效

时效性

2026/10/6

首次发现

来源

PyTorch性能剖析实战：从torch.profiler到AWS Trainium硬件周期

涉及实体

分布式训练concept AllReducetechnology AllGathertechnology

相关事实

待验证分布式训练中的通信原语（如AllReduce梯度聚合）会因并行度配置、网络拓扑差异带来非确定性的累积误差69% 相似待验证张量并行将单层权重矩阵沿某维度切分，每个前向传播步骤结束时需做一次All-Reduce通信，通信频率极高63% 相似待验证大语言模型多卡张量并行时，每一层前向传播都需要在卡间同步激活值，带宽瓶颈会直接拉低整体推理吞吐63% 相似待验证分布式拆层运行超大模型方案中设备间传输中间状态的网络延迟是主要瓶颈，更适合对延迟不敏感的批处理任务而非实时对话60% 相似待验证在多智能体流水线中，跨模型沟通损耗会随着节点数量增加而累积放大59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/982167

API

curl https://kongchang.com/api/v1/knowledge/claims/982167

MCP

get_claim(id=982167)