Unverified50% confidenceFactExact time
ZeRO由DeepSpeed团队于2020年提出，通过三个阶段消除数据并行中的冗余：ZeRO-1分片优化器状态、ZeRO-2分片梯度、ZeRO-3分片模型参数
1
Sources
50%
Confidence
Long-term
Relevance
7/14/2026
First Seen
Sources
Related Claims
Unverified微软DeepSpeed提出的ZeRO技术分为三个阶段：Stage-1分片优化器状态可将内存需求降低约4倍，Stage-2额外分片梯度，Stage-3进一步分片模型参数79% similarUnverifiedDeepSpeed的ZeRO优化器通过将优化器状态、梯度和模型参数分片存储，可将单卡所需显存降低至原来的1/N72% similarUnverifiedZeRO-Infinity可将分片数据溢出至CPU内存乃至NVMe SSD63% similarUnverifiedZed是由前Atom团队打造的高性能编辑器，正在快速补齐AI能力55% similarUnverifiedGA3的小翼掌托比GP系列小很多，主要提供轻度支撑而非大面积承托，追求大面积掌托减压效果的用户应选GP系列而非GA系列55% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/503680API
curl https://kongchang.com/api/v1/knowledge/claims/503680MCP
get_claim(id=503680)