Muon
由Jordan Juravsky等人专为矩阵参数设计的深度学习优化器，关键创新是在动量更新后对梯度矩阵做正交化处理，基于Nesterov动量与牛顿-舒尔茨迭代，在模型训练效率竞赛中表现出优于AdamW的收敛速度
时间轴 (近 90 天)
Muon的优异表现或许源于其在最坏情况下的优化性质，而非平均意义上的曲率匹配。
Muon优化器用近似的极因子（polar factor）替代传统的矩阵梯度更新。
Isotropic Curvature Model（ICM）从曲率角度解释Muon的有效性：当梯度正交化最小化一步局部损失代理时，Muon的更新方向是合理的。
零容量刚性（zero-capacity rigidity）表明：在无原子的连续径向分布下，精确的缩放极最优性仅当梯度本身已经是缩放列等距时才可能成立。
在常见的连续径向分布下，ICM的平均曲率解释几乎无法为Muon的更新提供非平凡的支撑，Muon的最优性变得极其罕见。
Muon的有效性可能不能简单归因于平均曲率下的梯度正交化，因为该解释在一般径向分布下极度不稳定。
Thinking Machines推出Dimuon优化器，为Muon变体，专为LoRA微调设计，已在Tinker中发布。
Muon 优化器由 Jordan Juravsky 等人设计，专为矩阵参数设计，关键创新是在动量更新后对梯度矩阵做正交化处理
在 NanoGPT Speedrun 中，Muon 通常只用于隐藏层的矩阵权重，而嵌入层和输出层仍保留 AdamW
解码器和表格使用AdamW优化器（学习率1×10⁻⁵），循环权重使用Muon优化器（学习率0.005，动量0.95）
还有 1 条时间轴事件
全部知识事实 (12)
Muon优化器由Kosson等研究者提出，核心改进在于对梯度更新矩阵进行正交化处理
85%待验证Muon优化器用近似的极因子（polar factor）替代传统的矩阵梯度更新。
50%待验证Isotropic Curvature Model（ICM）从曲率角度解释Muon的有效性：当梯度正交化最小化一步局部损失代理时，Muon的更新方向是合理的。
50%待验证零容量刚性（zero-capacity rigidity）表明：在无原子的连续径向分布下，精确的缩放极最优性仅当梯度本身已经是缩放列等距时才可能成立。
50%待验证在常见的连续径向分布下，ICM的平均曲率解释几乎无法为Muon的更新提供非平凡的支撑，Muon的最优性变得极其罕见。
50%待验证Muon的有效性可能不能简单归因于平均曲率下的梯度正交化，因为该解释在一般径向分布下极度不稳定。
50%待验证Muon 优化器由 Jordan Juravsky 等人设计，专为矩阵参数设计，关键创新是在动量更新后对梯度矩阵做正交化处理
50%待验证在 NanoGPT Speedrun 中，Muon 通常只用于隐藏层的矩阵权重，而嵌入层和输出层仍保留 AdamW
50%待验证解码器和表格使用AdamW优化器（学习率1×10⁻⁵），循环权重使用Muon优化器（学习率0.005，动量0.95）
50%待验证Muon优化器由Jeremy Bernstein等人提出，核心思想是对梯度矩阵通过Newton-Schulz迭代执行正交化处理
50%待验证Muon的优异表现或许源于其在最坏情况下的优化性质，而非平均意义上的曲率匹配。
50%待验证Thinking Machines推出Dimuon优化器，为Muon变体，专为LoRA微调设计，已在Tinker中发布。
50%