概念NGD / Natural Gradient Descent
自然梯度下降
由Amari于1998年提出的优化方法，核心思想是在参数空间中用Fisher信息矩阵对梯度进行预条件化，使更新方向不依赖于参数的任意重参数化，沿黎曼流形的最速下降方向移动，具有参数化不变性
时间轴 (近 90 天)
10月4日
一篇发表于arXiv的研究（arXiv:2610.00004v1）将Adam的完整更新规则（包括动量项）拆解为一种对角经验Fisher近似
待验证50%
10月4日
自然梯度下降（NGD）由Amari于1998年提出
待验证50%
10月4日
Adam可被视为一种简化的NGD近似，用梯度平方的指数移动平均来估计Fisher矩阵的对角元素
待验证50%
10月4日
在非凸小型神经网络中，Adam与NGD的方向错位达到约10^3的量级
待验证50%