FSDP
PyTorch官方推出的全分片数据并行训练方案，通过将模型参数、梯度与优化器状态分片到不同GPU设备，大幅降低单机显存占用，支持在有限硬件资源上训练超大规模模型
核心事实
时间轴 (近 90 天)
Ray Train 对 DDP 和 FSDP 两种策略均提供封装，能够自动处理进程组初始化、故障恢复和检查点保存
FSDP 将模型参数、梯度和优化器状态拆分到多卡，是训练千亿级参数模型的主流方案
PyTorch提供DDP（DistributedDataParallel）和FSDP（Fully Sharded Data Parallel）等原生分布式训练方案
使用 FSDP 或张量并行的团队需验证不同并行度下同一序列的 logit 输出是否具有确定性，因通信算子的浮点累加顺序可能因并行配置改变
FSDP通过将模型参数、梯度和优化器状态分片存储在多张GPU上，降低单卡显存占用，是训练千亿级参数模型的主流方案之一
在大模型训练场景中，torch.compile与FSDP（完全分片数据并行）的协同优化是社区最活跃的研究方向之一
与DDP相比，FSDP在通信与计算重叠方面更为激进，但带来了更高的调试复杂度
FSDP是PyTorch官方推出的全分片数据并行方案，通过将模型参数、梯度与优化器状态分片到不同设备，将单机显存占用从O(N)降至O(N/world_size)
PyTorch的FSDP（Fully Sharded Data Parallel）和DeepSpeed ZeRO优化了内存效率，使单机即可训练百亿参数模型
分布式训练策略如 DeepSpeed ZeRO、FSDP、张量并行和流水线并行是训练大型视频模型的必要手段
全部知识事实 (11)
FSDP（Fully Sharded Data Parallel）是 PyTorch 原生的分布式训练方案，由 Meta 贡献
65%待验证PyTorch提供DDP（DistributedDataParallel）和FSDP（Fully Sharded Data Parallel）等原生分布式训练方案
60%待验证Ray Train 对 DDP 和 FSDP 两种策略均提供封装，能够自动处理进程组初始化、故障恢复和检查点保存
50%待验证FSDP 将模型参数、梯度和优化器状态拆分到多卡，是训练千亿级参数模型的主流方案
50%待验证使用 FSDP 或张量并行的团队需验证不同并行度下同一序列的 logit 输出是否具有确定性，因通信算子的浮点累加顺序可能因并行配置改变
50%待验证FSDP通过将模型参数、梯度和优化器状态分片存储在多张GPU上，降低单卡显存占用，是训练千亿级参数模型的主流方案之一
50%待验证在大模型训练场景中，torch.compile与FSDP（完全分片数据并行）的协同优化是社区最活跃的研究方向之一
50%待验证与DDP相比，FSDP在通信与计算重叠方面更为激进，但带来了更高的调试复杂度
50%待验证FSDP是PyTorch官方推出的全分片数据并行方案，通过将模型参数、梯度与优化器状态分片到不同设备，将单机显存占用从O(N)降至O(N/world_size)
50%待验证PyTorch的FSDP（Fully Sharded Data Parallel）和DeepSpeed ZeRO优化了内存效率，使单机即可训练百亿参数模型
50%待验证分布式训练策略如 DeepSpeed ZeRO、FSDP、张量并行和流水线并行是训练大型视频模型的必要手段
50%