[控场AI]
概念Activation Checkpointing / 梯度检查点

激活重计算

深度学习训练中的显存优化技术,通过在前向传播时不保存中间激活值、在反向传播时重新计算的方式,以额外计算换取显存节省

时间轴 (近 90 天)

11月18日

梯度检查点(激活重计算)在前向传播时不保存全部中间激活值,只在少数检查点处保留,反向传播时从最近的检查点重新计算缺失的激活。

待验证50%

全部知识事实 (1)

来源文章