数据并行
分布式训练中的并行策略，将不同数据批次分发到多张GPU上，每张卡持有完整模型副本，仅同步梯度，实现简单但显存开销大
时间轴 (近 90 天)
数据并行将不同的数据批次分发到多张卡上，每张卡持有完整模型副本，仅梯度需要同步，实现简单但显存开销大。
张量并行、流水线并行与数据并行是大模型分布式训练的三种基本策略，常组合使用（即 3D 并行）
Megatron Core采用张量并行、流水线并行和数据并行的三维并行策略
数据并行需要在所有节点间同步梯度，通信量与模型参数规模成正比
拓扑感知调度实践中，张量并行组的 GPU 应优先放置在同一节点内，流水线阶段可跨节点但应尽量同机架，数据并行副本则可灵活分布
多GPU推理的并行化策略包括张量并行（将单个数学运算拆分到多块GPU）、流水线并行（将不同神经网络层分配给不同GPU）和数据并行（复制整个模型处理多批数据）
数据并行将同一模型复制到多个设备，各自处理不同批次数据后同步梯度；模型并行将模型的不同层或模块分配到不同设备
全部知识事实 (8)
块调度建议将张量并行（TP）限制在NVLink带宽最高的GPU子集内（同一个最小块），数据并行（DP）跨块分布，流水线并行（PP）沿拓扑层次展开
85%待验证数据并行将不同的数据批次分发到多张卡上，每张卡持有完整模型副本，仅梯度需要同步，实现简单但显存开销大。
50%待验证张量并行、流水线并行与数据并行是大模型分布式训练的三种基本策略，常组合使用（即 3D 并行）
50%待验证Megatron Core采用张量并行、流水线并行和数据并行的三维并行策略
50%待验证拓扑感知调度实践中，张量并行组的 GPU 应优先放置在同一节点内，流水线阶段可跨节点但应尽量同机架，数据并行副本则可灵活分布
50%待验证数据并行需要在所有节点间同步梯度，通信量与模型参数规模成正比
50%待验证多GPU推理的并行化策略包括张量并行（将单个数学运算拆分到多块GPU）、流水线并行（将不同神经网络层分配给不同GPU）和数据并行（复制整个模型处理多批数据）
50%待验证数据并行将同一模型复制到多个设备，各自处理不同批次数据后同步梯度；模型并行将模型的不同层或模块分配到不同设备
50%