概念反向传播中更新 / in-backward optimizer
optimizer-in-backward
一种训练策略,在反向传播过程中一旦计算出某层或某张量的梯度,就立即用优化器更新对应参数并释放梯度,而非等整个反向传播结束后统一更新。
时间轴 (近 90 天)
11月3日
optimizer-in-backward 是一种将参数更新提前到反向传播阶段执行的训练策略:某一层或张量的梯度算完后立即用优化器更新参数并释放梯度,省下的是梯度副本的显存。
待验证50%
11月3日
全局范数裁剪必须在所有梯度算完后才能执行,因为需要先聚合出全局范数,这与“算完即释放”的 optimizer-in-backward 存在天然冲突。
待验证50%