待验证50% 置信发布精确时间
Unsloth 新增 DeepSpeed ZeRO-2 和 ZeRO-3 支持，包括 4-bit QLoRA、全量微调、DPO 和 CPU offload；此前导致崩溃的 DDP + 梯度检查点 LoRA 训练问题已修复。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
涉及实体
相关事实
待验证ZeRO由DeepSpeed团队于2020年提出，通过三个阶段消除数据并行中的冗余：ZeRO-1分片优化器状态、ZeRO-2分片梯度、ZeRO-3分片模型参数71% 相似待验证NVIDIA的Megatron-LM、Microsoft的DeepSpeed为大规模分布式训练提供基础设施，ZeRO用于降低GPU显存占用68% 相似待验证微软DeepSpeed提出的ZeRO技术分为三个阶段：Stage-1分片优化器状态可将内存需求降低约4倍，Stage-2额外分片梯度，Stage-3进一步分片模型参数66% 相似待验证RL-Kernel团队在8块AMD MI300X上运行了200步的Qwen3-8B GRPO训练任务，结果显示Megatron训练端与vLLM rollout端之间零logprob不匹配65% 相似待验证DeepSpeed的ZeRO优化器通过将优化器状态、梯度和模型参数分片存储，可将单卡所需显存降低至原来的1/N65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1039702API
curl https://kongchang.com/api/v1/knowledge/claims/1039702MCP
get_claim(id=1039702)