Nesterov动量

视频按普通GD、Nesterov、AdaGrad、RMSProp、Adam的顺序逐步构建优化器。

Nesterov动量引入动量项以加速收敛并减少震荡，同时通过“提前看一步”来调整方向。

Nesterov动量与经典动量的区别在于梯度计算的位置：经典动量在当前参数处计算梯度，而Nesterov动量先根据动量项对参数进行前瞻更新，在预测位置计算梯度。

Nesterov动量在凸优化中能获得更强的收敛速率。