[控场AI]
概念ICM

Isotropic Curvature Model

一种解释Muon优化器有效性的理论模型,通过各向同性曲率假设将局部损失近似为曲率模型,证明梯度正交化可最小化一步局部损失代理

时间轴 (近 90 天)

10月16日

Isotropic Curvature Model(ICM)从曲率角度解释Muon的有效性:当梯度正交化最小化一步局部损失代理时,Muon的更新方向是合理的。

待验证50%
10月16日

ICM假设输入半径固定,但真实训练中每一层的输入激活值半径会随数据分布变化,并非恒定。

待验证50%
10月16日

在常见的连续径向分布下,ICM的平均曲率解释几乎无法为Muon的更新提供非平凡的支撑,Muon的最优性变得极其罕见。

待验证50%

全部知识事实 (3)

来源文章