张量并行把单个张量运算切分到多张卡上协同完成，适合单层参数巨大的模型，但会引入频繁的通信。