张量并行每一层前向计算几乎都要执行一次all-reduce等集合通信，通信频率随层数线性增长，对带宽和延迟极度敏感。