待验证60% 置信事实精确时间
DeepSpeed的ZeRO优化器通过将优化器状态、梯度和模型参数分片存储，可将单卡所需显存降低至原来的1/N
2
来源数
60%
置信度
长期有效
时效性
2026/7/13
首次发现
来源
相关事实
待验证微软DeepSpeed提出的ZeRO技术分为三个阶段：Stage-1分片优化器状态可将内存需求降低约4倍，Stage-2额外分片梯度，Stage-3进一步分片模型参数73% 相似待验证ZeRO由DeepSpeed团队于2020年提出，通过三个阶段消除数据并行中的冗余：ZeRO-1分片优化器状态、ZeRO-2分片梯度、ZeRO-3分片模型参数72% 相似待验证ZeRO-Infinity可将分片数据溢出至CPU内存乃至NVMe SSD69% 相似待验证NVIDIA的Megatron-LM、Microsoft的DeepSpeed为大规模分布式训练提供基础设施，ZeRO用于降低GPU显存占用68% 相似待验证LoRA（Low-Rank Adaptation）的核心思想是利用 SVD 的低秩近似原理，将大模型微调成本压缩至可在消费级 GPU 上运行的规模64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/502864API
curl https://kongchang.com/api/v1/knowledge/claims/502864MCP
get_claim(id=502864)