张量并行把同一层的权重矩阵切开放到多台机器，每算一层就需要All-Reduce通信一次，对带宽和延迟极其敏感，通常只在NVLink这类高速互联下才实用。