张量并行
多设备推理的核心切分策略之一，将单层模型的张量计算切分到多张GPU上并行执行，实现层内并行加速
核心事实
时间轴 (近 90 天)
分布式推理中，流水线并行（按层切分）对网络带宽要求较低但设备利用率不均；张量并行（拆分单层矩阵运算）通信频繁、对延迟敏感。
张量并行把同一层的权重矩阵切开放到多台机器，每算一层就需要All-Reduce通信一次，对带宽和延迟极其敏感，通常只在NVLink这类高速互联下才实用。
张量并行的通信瓶颈不是单次传输的数据量，而是同步次数乘以每次同步的固有延迟。
在张量并行模式下，模型权重在推理开始前已分片常驻各 GPU 显存，跨 PCIe 传输的只有前向传播中的中间激活张量，而非权重。
Megatron Core采用张量并行、流水线并行和数据并行的三维并行策略
张量并行将单个矩阵运算切分到多张GPU协作完成，每次运算后需进行AllReduce通信聚合结果
张量并行把单个层内的矩阵运算切分到多张GPU上并行计算
张量并行通常只在同一节点内的NVLink互联卡之间使用，跨节点部署会因InfiniBand带宽不足而严重拖慢训练吞吐
Megatron-LM的张量并行方案中Query、Key、Value投影矩阵按列切分，输出投影矩阵按行切分，两端各插入一次All-Reduce通信
张量并行的列/行切分方案由Megatron-LM率先提出
还有 15 条时间轴事件
全部知识事实 (20)
扩散模型的核心原理分为前向扩散过程（逐步添加高斯噪声）和反向去噪过程（从噪声中还原图像）两个阶段
90%已验证现代大模型训练通常同时采用数据并行、流水线并行、张量并行和专家并行等多种并行策略组合，即3D或4D并行架构
80%待验证块调度建议将张量并行（TP）限制在NVLink带宽最高的GPU子集内（同一个最小块），数据并行（DP）跨块分布，流水线并行（PP）沿拓扑层次展开
85%待验证大模型每生成一个Token需要在GPU上执行大量矩阵乘法运算，这是Transformer架构注意力机制的核心计算步骤
60%待验证分布式推理中，流水线并行（按层切分）对网络带宽要求较低但设备利用率不均；张量并行（拆分单层矩阵运算）通信频繁、对延迟敏感。
50%待验证张量并行把同一层的权重矩阵切开放到多台机器，每算一层就需要All-Reduce通信一次，对带宽和延迟极其敏感，通常只在NVLink这类高速互联下才实用。
50%待验证张量并行的通信瓶颈不是单次传输的数据量，而是同步次数乘以每次同步的固有延迟。
50%待验证在张量并行模式下，模型权重在推理开始前已分片常驻各 GPU 显存，跨 PCIe 传输的只有前向传播中的中间激活张量，而非权重。
50%待验证张量并行将单个矩阵运算切分到多张GPU协作完成，每次运算后需进行AllReduce通信聚合结果
50%待验证Megatron Core采用张量并行、流水线并行和数据并行的三维并行策略
50%待验证张量并行通常只在同一节点内的NVLink互联卡之间使用，跨节点部署会因InfiniBand带宽不足而严重拖慢训练吞吐
50%待验证张量并行把单个层内的矩阵运算切分到多张GPU上并行计算
50%待验证张量并行的列/行切分方案由Megatron-LM率先提出
50%待验证Megatron-LM的张量并行方案中Query、Key、Value投影矩阵按列切分，输出投影矩阵按行切分，两端各插入一次All-Reduce通信
50%待验证大语言模型多卡张量并行时，每一层前向传播都需要在卡间同步激活值，带宽瓶颈会直接拉低整体推理吞吐
50%待验证在张量并行推理中，AllReduce操作在每一层都会发生，对于数十乃至上百层的大模型，累积的通信数据量相当可观
50%待验证ERRC（熵再投资残差修正）是一种针对张量并行LLM推理中GPU间通信瓶颈的方案，它通过压缩交换数据来降低通信量，并把节省出的空间用于补偿量化误差
50%待验证张量并行要求极低延迟的 all-reduce 操作，对 NVLink 带宽依赖最强
50%待验证拓扑感知调度实践中，张量并行组的 GPU 应优先放置在同一节点内，流水线阶段可跨节点但应尽量同机架，数据并行副本则可灵活分布
50%待验证该部署采用TP2 PP4并行方案：显卡两两一组做张量并行共四组，组间做流水线并行
50%