自然梯度下降有多低效？从精确最优到 Θ(√log d) 的偏差分析

自然梯度下降（Natural Gradient Descent, NGD）是机器学习中许多优化方法的理论基石，从变分推断到强化学习的策略优化都能看到它的身影。它利用费舍尔信息矩阵（Fisher Information Matrix）对参数空间进行度量校正，被认为是一种比普通梯度下降更"几何感知"的方法。但一篇新的 arXiv 论文（arXiv:2610.07228v1）提出了一个尖锐的问题：NGD 究竟有多低效？

答案并不是简单的"快"或"慢"，而是取决于概率分布族的几何结构。研究给出了一个从精确最优到随维度无界增长的完整图景。

问题的核心：混合测地线 vs 最短路径

在信息几何中，一个"对偶平坦"（dually flat）的分布族具有两套自然的几何结构。当我们用前向 KL 散度（forward Kullback–Leibler）作为优化目标做理想化的 NGD 时，优化轨迹实际上沿着混合测地线（mixture geodesic）前进。

自然梯度下降的效率分析

问题在于，混合测地线往往并不是参数空间中最短的路径。真正意义上的"最短"是由费舍尔–饶（Fisher–Rao）度量定义的测地线距离。两者之间的差距，就是 NGD 效率损失的来源。

论文用一个关键指标来量化这种开销——低效比率 R（inefficiency ratio），定义为混合测地线的费舍尔长度除以费舍尔–饶距离。根据定义，R 始终大于等于 1。R 越接近 1，说明 NGD 的路径越接近理论最优；R 越大，意味着 NGD 走了更多"冤枉路"。研究的核心任务，就是分析 R 在参数维度 d 变化时的上确界行为。

信息几何基础概念速览

信息几何将概率分布族视为一个黎曼流形，其中费舍尔信息矩阵（Fisher Information Matrix，FIM）充当度量张量，定义了"两个分布有多远"。在这个框架下，"对偶平坦"空间存在两套互补的坐标系与测地线：指数测地线（e-geodesic）和混合测地线（m-geodesic）。指数测地线对应自然参数的线性插值（如指数族的自然参数空间），而混合测地线对应期望参数的线性插值（如均值参数空间）。自然梯度下降在以 KL 散度为目标时，其迭代轨迹天然沿混合测地线前进。费舍尔–饶（Fisher–Rao）度量则定义了流形上真正意义的黎曼距离，其对应的测地线通常既不是 e-测地线也不是 m-测地线，而是综合曲率最短的路径。理解 NGD 低效性的关键，正是混合测地线与费舍尔–饶最短路径之间的几何偏离。

三种几何机制：从完美到发散

论文最具价值的贡献，是通过一个张量判据（tensor criterion）将分布族划分为三种截然不同的机制（regime）。

机制 I：处处最优（R = 1）

第一类是具有二次势函数（quadratic potential）或维度为一的分布族。对于这些族，R 在任意端点对上都恒等于 1，也就是说 NGD 的路径恰好就是最短路径，没有任何额外开销。

最典型的例子是固定协方差的高斯分布。在这种情形下，混合测地线与费舍尔–饶测地线完全重合，NGD 是精确最优的。实验中这类族的 R 达到了机器精度级别的 1，验证了理论结论。

二次势函数的几何含义

势函数（potential function）是对偶平坦信息几何中的核心对象，它通过勒让德变换联系两套对偶坐标系。当势函数为参数的二次型时，对偶坐标之间呈线性关系，这意味着混合测地线（期望参数的线性路径）与指数测地线在费舍尔度量意义下完全一致。固定协方差的高斯分布是典型例子：其均值参数与自然参数之间是线性映射，两种测地线完全重合。这一性质在实践中至关重要——许多变分推断算法在高斯近似族上使用 NGD，可以放心地认为路径选择没有几何浪费。相比之下，当势函数含有高阶非线性项时，两套坐标系之间的映射变得弯曲，混合测地线便开始偏离最短路径，这正是机制 II 和机制 III 低效性的根源。

机制 II：维度无关的有界开销

对于非二次的分布族，如果满足两个条件——三阶偏度（third-order skewness）有界以及费舍尔–饶直径有限——那么 R 会被一个与维度 d 无关的常数所界定。

这意味着无论参数空间扩展到多高维，NGD 的低效程度都不会随之恶化。论文给出的分类分布（categorical）边界为 π/(2√2)，约等于 1.11。实验显示 R 会逼近这个边界但始终无法达到，说明这是一个较紧的理论上界。

机制 III：随维度发散的 Θ(√log d)

最引人注目的是第三类机制。对于尺度族的乘积（products of scale families），包括高斯分布的协方差参数、Gamma 分布的速率参数等常见情形，R 的增长呈 Θ(√log d)——随维度 d 无界增长。

虽然 √log d 的增速相对温和（对数的平方根），但它从根本上否定了"NGD 在高维下仍然高效"的直觉。实验中，采样得到的尺度乘积族在长距离、高维度的移动下，R 达到了约 1.5，也就是说 NGD 需要比沿费舍尔–饶测地线前进的优化器多出约 50% 的步数。

尺度族乘积的高维行为

尺度族（scale family）是指参数仅控制分布"展宽"程度的族，典型例子包括方差参数 σ²（高斯分布）和速率参数 β（Gamma 分布）。当模型有 d 个相互独立的尺度参数时，整体分布族构成 d 个单变量尺度族的乘积流形。这类结构在实践中极为普遍：多元高斯的对角协方差矩阵、深度学习中的层归一化参数、贝叶斯神经网络的超参数等均属此类。

尺度族的关键几何特征是其曲率不对称性：沿"放大"方向与"缩小"方向的费舍尔距离并不对称（因为尺度参数定义在正实数轴上），导致混合测地线在高维乘积空间中积累系统性偏差。Θ(√log d) 的增长虽慢于线性，但对于 d = 10000 的现代深度模型，√log(10000) ≈ 3，意味着 NGD 的路径开销可达最优的 3 倍量级，这在大规模训练中是不可忽视的代价。

从几何到计算成本

论文并没有停留在纯几何分析，而是把 R 翻译成了实际可衡量的计算代价。

在"每步费舍尔弦预算"（per-step Fisher-chord budget）的约束下，R 直接对应于优化所需的步数比例。结论很直接：NGD 渐近上至少需要比沿费舍尔–饶测地线前进的优化器多 R 倍的迭代步数。

换句话说，低效比率不只是一个抽象的几何量，它决定了在同样精度要求下，NGD 要付出多少额外的计算。对于机制 III 中的分布族，这一开销会随着模型维度缓慢但持续地累积。

对实践的启示

这项工作为理解 NGD 的局限提供了一个清晰的几何框架，对实践者有几点直接意义：

当优化目标涉及固定协方差高斯这类二次势函数族时，可以放心使用 NGD，它在理论上已是最优的。
面对分类分布等满足偏度有界条件的族，NGD 的开销可控，维度扩展不会带来质变。
当模型包含大量尺度型参数（如协方差、速率），尤其在高维场景下，NGD 的路径低效会逐渐显现，此时考虑更贴近费舍尔–饶测地线的优化策略可能更划算。

论文通过理论证明与实验在三种机制上的一致验证，为自然梯度方法的"几何最优性"划定了明确边界。这提醒我们：NGD 的优雅并不等于处处最优，它的效率强烈依赖于底层分布族的几何结构。