DeepSpeed
微软开源的大规模分布式训练优化框架，专为大模型训练设计，支持数据并行、张量并行、流水线并行等多种并行策略
核心事实
时间轴 (近 90 天)
团队在CAD阶段fork了Megatron-LM和Microsoft DeepSpeed并改写内核，为日后Cursor每天超过5亿次模型调用的推理能力打下基础
分享者Masahiro表示有了这些更新后DeepSpeed在训练最新的MoE模型上能与其他最先进框架相匹敌
DeepSpeed近期更新补齐了张量并行、序列并行和专家并行三类并行能力
ZeRO（Zero Redundancy Optimizer）通过切分优化器状态、梯度和参数来降低显存占用
PyTorch 的 torch.save/torch.load、Hugging Face Transformers 的 Trainer 类、DeepSpeed 和 Megatron-LM 均内置周期性 checkpoint 支持
大模型训练涉及数据清洗、标注、对齐、安全微调等多个环节
使用 vLLM、TensorRT-LLM 做 rollout 再用 PyTorch/DeepSpeed 做训练的异构架构中数值不一致问题尤为突出
DeepSpeed的ZeRO技术分三个阶段：Stage 1分片优化器状态（节省约4倍显存），Stage 2同时分片梯度（节省约8倍），Stage 3将模型参数也分片存储
Megatron-LM实现了张量并行、流水线并行和数据并行的三维并行策略，DeepSpeed通过ZeRO技术将优化器状态分散到多个节点
DeepSpeed推出了ZeRO-Infinity，通过利用NVMe SSD的存储空间进一步扩展了可训练模型的规模上限
还有 2 条时间轴事件
全部知识事实 (16)
Cube Studio支持DeepSpeed、ColossalAI、Horovod等分布式加速框架
80%待验证ZeRO由DeepSpeed团队于2020年提出，通过三个阶段消除数据并行中的冗余：ZeRO-1分片优化器状态、ZeRO-2分片梯度、ZeRO-3分片模型参数
70%待验证DeepSpeed、Megatron-LM 是主流的大模型训练框架
60%待验证主流训练框架如Megatron-LM、DeepSpeed在分布式训练过程中会生成详细的检查点（Checkpoint）和数据加载记录
60%待验证Transformers与DeepSpeed、Accelerate等分布式训练工具无缝集成
60%待验证团队在CAD阶段fork了Megatron-LM和Microsoft DeepSpeed并改写内核，为日后Cursor每天超过5亿次模型调用的推理能力打下基础
50%待验证分享者Masahiro表示有了这些更新后DeepSpeed在训练最新的MoE模型上能与其他最先进框架相匹敌
50%待验证ZeRO（Zero Redundancy Optimizer）通过切分优化器状态、梯度和参数来降低显存占用
50%待验证DeepSpeed近期更新补齐了张量并行、序列并行和专家并行三类并行能力
50%待验证PyTorch 的 torch.save/torch.load、Hugging Face Transformers 的 Trainer 类、DeepSpeed 和 Megatron-LM 均内置周期性 checkpoint 支持
50%待验证大模型训练涉及数据清洗、标注、对齐、安全微调等多个环节
50%待验证使用 vLLM、TensorRT-LLM 做 rollout 再用 PyTorch/DeepSpeed 做训练的异构架构中数值不一致问题尤为突出
50%待验证DeepSpeed的ZeRO技术分三个阶段：Stage 1分片优化器状态（节省约4倍显存），Stage 2同时分片梯度（节省约8倍），Stage 3将模型参数也分片存储
50%待验证Megatron-LM实现了张量并行、流水线并行和数据并行的三维并行策略，DeepSpeed通过ZeRO技术将优化器状态分散到多个节点
50%待验证DeepSpeed推出了ZeRO-Infinity，通过利用NVMe SSD的存储空间进一步扩展了可训练模型的规模上限
50%待验证微软的 DeepSpeed 库与 ORT Training 有深度集成，两者结合可在千卡规模集群上训练百亿参数级别模型
50%