Muon优化器何时最优？径向脆弱性与极小极大几何解析

Muon优化器近年来在神经网络训练中表现抢眼，它用一个近似的极因子（polar factor）替代传统的矩阵梯度。但这一更新规则为何有效？此前，Isotropic Curvature Model（ICM）从曲率角度给出了解释：当梯度正交化最小化一步局部损失代理时，Muon的更新方向就是合理的。然而，ICM 假设输入半径固定，这一假设在真实训练中并不成立。最新研究通过引入随机半径和各向异性分析，揭示了这一解释的脆弱性，并给出了 Muon 极方向的极小极大变分新刻画。

从固定半径到随机半径：ICM 的扩展

ICM 的核心思想是：在梯度方向上，局部损失可以用一个各向同性曲率模型来近似。当输入半径固定时，梯度正交化（即 Muon 的极因子更新）能最小化这个代理损失。但真实训练中，每一层的输入激活值半径会随数据分布变化，并非恒定。

为此，研究者提出了 Random-Radius Isotropic Curvature Model（RR-ICM），将固定半径替换为一般径向分布。同时定义了 Polar-Factor Admissibility Set（极因子容许集），该集合精确编码了“缩放极最优性”的几何条件——即 Muon 更新在何种梯度形态下才是最优的。

极因子（polar factor） 源自矩阵的极分解：任意实矩阵 $G$ 可唯一写成 $G = UH$，其中 $U$ 是列正交（或等距）矩阵，$H$ 是半正定对称矩阵。$U$ 即 $G$ 的极因子，可由奇异值分解 $G = U\Sigma V^\top$ 得到 $U = UV^\top$。从几何上看，极因子相当于把 $G$ 的所有奇异值统一缩放为 1，只保留其“方向”信息，因此又被称为矩阵梯度的正交化。Muon 优化器正是用这一操作替代传统 SGD/Adam 中的原始矩阵梯度更新。理解极因子是理解全文的关键：所谓“缩放极最优性”讨论的即是——在何种梯度形态下，把梯度替换为其极因子能最小化局部损失代理。

核心发现：无原子径向分布下的零容量刚性

通过推导任意径向分布下容许集的精确特征，研究者发现了一个关键结论：所有非标量容许响应都来自于与曲率拐点对齐的径向原子。换句话说，如果径向分布是无原子的（即连续分布），那么精确的缩放极最优性仅当梯度本身已经是缩放列等距时才可能成立。

这被称为 零容量刚性（zero-capacity rigidity）。它意味着：在常见的连续径向分布下，ICM 的平均曲率解释几乎无法为 Muon 的更新提供非平凡的支撑——Muon 的最优性变得极其罕见。这一结果直接暴露了基于平均曲率解释的径向脆弱性：只要半径不再是固定常数，原解释就迅速失效。

缩放列等距（scaled column isometry） 指矩阵 $G$ 的列向量不仅相互正交，而且各列具有相同（或按同一标量缩放）的范数，即 $G^\top G = c,I$（$c>0$）。这类矩阵的极因子与自身只差一个正标量，也就是它本身“几乎已经是”极因子。零容量刚性的含义正在于此：当径向分布连续（无原子）时，唯一能让 Muon 更新恰好最优的梯度形态就是这种已被“归一化好”的矩阵。换言之，对一般梯度而言，连续径向分布下 Muon 的最优性不再成立。这里的“原子”指径向分布中的离散概率质点，它们对应曲率拐点处的特殊半径；只有这些点上的响应才可能产生非平凡的最优性。

极小极大视角：连接谱几何与极方向

为了弥合曲率框架与 Muon 已知的谱几何（spectral geometry）之间的鸿沟，研究者进一步提出了 Minimax RR-ICM。不同于对方向做平均，该模型在球面上的概率分布上取最坏情况优化。

他们证明：每一个非零全局极小值点都位于梯度的极射线上，而其尺度由一个一维凸问题确定。对应的容许几何是一个半正定迹板（positive-semidefinite trace slab），这与 RR-ICM 的球形 zonotope 几何形成鲜明对比。

这一极小极大变分刻画为 Muon 的极方向提供了新的理论依据——它不再依赖于脆弱的平均曲率假设，而是通过最坏情况分析稳健地导出极方向。

zonotope（环带多面体）与半正定迹板 是两种不同的凸几何对象。zonotope 由若干线段的闵可夫斯基和生成，在 RR-ICM 中它描述了容许集的球形对称几何；而半正定迹板则指形如 ${X \succeq 0,\ \mathrm{tr}(X) = c}$ 的半正定矩阵集合，它约束的是矩阵的特征值非负且迹固定。极射线（polar ray） 指从原点出发、方向为梯度极因子方向 $U$ 的射线，即 ${tU : t>0}$。极小极大结论指出：在最坏情况优化下，全局极小值必落在该射线上，尺度 $t$ 由一个一维凸问题确定。谱几何则指与矩阵奇异值（谱）分布相关的几何性质，是理解 Muon 更新与奇异值结构关系的背景框架。

对优化器设计的启示

这项工作传递出两个信号。第一，Muon 的有效性可能不能简单归因于平均曲率下的梯度正交化，因为该解释在一般径向分布下极度不稳定。第二，极小极大框架为理解 Muon 提供了更稳健的几何基础，将极方向与半正定迹板几何联系起来。

对于实践者而言，这意味着 Muon 的优异表现或许源于其在最坏情况下的优化性质，而非平均意义上的曲率匹配。未来的优化器设计可以借鉴这一极小极大视角，在更广泛的径向分布下保持理论可解释性。