张量并行是一种将单个Transformer层的参数和计算切分到多张GPU上的模型并行策略，适合单机多卡场景，代价是每层前向需要跨卡通信。