产品
DeepSpeed
微软开源的大规模分布式训练优化框架，专为大模型训练设计，支持数据并行、张量并行、流水线并行等多种并行策略
时间轴 (近 90 天)
8月26日
DeepSpeed推出了ZeRO-Infinity，通过利用NVMe SSD的存储空间进一步扩展了可训练模型的规模上限
待验证50%
8月24日
微软的 DeepSpeed 库与 ORT Training 有深度集成，两者结合可在千卡规模集群上训练百亿参数级别模型
待验证50%
7月14日
ZeRO由DeepSpeed团队于2020年提出，通过三个阶段消除数据并行中的冗余：ZeRO-1分片优化器状态、ZeRO-2分片梯度、ZeRO-3分片模型参数
待验证50%