张量并行把单个权重矩阵按行或按列切开分散到不同设备，每层计算需要节点间做All-Reduce同步，对互联带宽极为敏感。