概念Zero Redundancy Optimizer Stage 3
ZeRO-3
DeepSpeed提出的显存优化技术，通过将模型参数、梯度和优化器状态切分到多张GPU上，支持超大模型在有限显存下训练
时间轴 (近 90 天)
10月27日
在自蒸馏中，教师和学生两个完整模型副本同时驻留GPU会增加前向传播延迟并加剧ZeRO-3的通信开销。
待验证50%
10月27日
适配器切换本身不能触发参数重分配或缓存失效，否则会在ZeRO-3下产生显存尖峰。
待验证50%
DeepSpeed提出的显存优化技术，通过将模型参数、梯度和优化器状态切分到多张GPU上，支持超大模型在有限显存下训练
在自蒸馏中，教师和学生两个完整模型副本同时驻留GPU会增加前向传播延迟并加剧ZeRO-3的通信开销。
适配器切换本身不能触发参数重分配或缓存失效，否则会在ZeRO-3下产生显存尖峰。