微软开源的大规模分布式训练优化框架,专为大模型训练设计,支持数据并行、张量并行、流水线并行等多种并行策略
微软的 DeepSpeed 库与 ORT Training 有深度集成,两者结合可在千卡规模集群上训练百亿参数级别模型