概念ICM
Isotropic Curvature Model
一种解释Muon优化器有效性的理论模型,通过各向同性曲率假设将局部损失近似为曲率模型,证明梯度正交化可最小化一步局部损失代理
时间轴 (近 90 天)
10月16日
Isotropic Curvature Model(ICM)从曲率角度解释Muon的有效性:当梯度正交化最小化一步局部损失代理时,Muon的更新方向是合理的。
待验证50%
10月16日
ICM假设输入半径固定,但真实训练中每一层的输入激活值半径会随数据分布变化,并非恒定。
待验证50%
10月16日
在常见的连续径向分布下,ICM的平均曲率解释几乎无法为Muon的更新提供非平凡的支撑,Muon的最优性变得极其罕见。
待验证50%