概念Activation Checkpointing / 梯度检查点
激活重计算
深度学习训练中的显存优化技术,通过在前向传播时不保存中间激活值、在反向传播时重新计算的方式,以额外计算换取显存节省
时间轴 (近 90 天)
11月18日
梯度检查点(激活重计算)在前向传播时不保存全部中间激活值,只在少数检查点处保留,反向传播时从最近的检查点重新计算缺失的激活。
待验证50%
深度学习训练中的显存优化技术,通过在前向传播时不保存中间激活值、在反向传播时重新计算的方式,以额外计算换取显存节省
梯度检查点(激活重计算)在前向传播时不保存全部中间激活值,只在少数检查点处保留,反向传播时从最近的检查点重新计算缺失的激活。