Muon
由Jordan Juravsky等人专为矩阵参数设计的深度学习优化器，关键创新是在动量更新后对梯度矩阵做正交化处理，基于Nesterov动量与牛顿-舒尔茨迭代，在模型训练效率竞赛中表现出优于AdamW的收敛速度
时间轴 (近 90 天)
MuonGS使用Gram-Schmidt投影移除每个Muon更新中的径向分量，而不固定权重范数。
原始Muon优化器在训练过程中累积有效学习率只能达到对数级增长，这可能限制模型的探索能力。
DP-Adam 是将 DP-SGD 的裁剪加噪步骤嵌入 Adam 优化器的动量估计中的隐私版本；DP-Muon 是针对矩阵参数使用 Muon 优化器（基于矩阵正交化更新）的隐私版本。
零容量刚性（zero-capacity rigidity）表明：在无原子的连续径向分布下，精确的缩放极最优性仅当梯度本身已经是缩放列等距时才可能成立。
Muon优化器用近似的极因子（polar factor）替代传统的矩阵梯度更新。
Isotropic Curvature Model（ICM）从曲率角度解释Muon的有效性：当梯度正交化最小化一步局部损失代理时，Muon的更新方向是合理的。
在常见的连续径向分布下，ICM的平均曲率解释几乎无法为Muon的更新提供非平凡的支撑，Muon的最优性变得极其罕见。
Muon的有效性可能不能简单归因于平均曲率下的梯度正交化，因为该解释在一般径向分布下极度不稳定。
Muon的优异表现或许源于其在最坏情况下的优化性质，而非平均意义上的曲率匹配。
Thinking Machines推出Dimuon优化器，为Muon变体，专为LoRA微调设计，已在Tinker中发布。
还有 4 条时间轴事件
全部知识事实 (15)
Muon优化器由Kosson等研究者提出，核心改进在于对梯度更新矩阵进行正交化处理
85%待验证MuonGS使用Gram-Schmidt投影移除每个Muon更新中的径向分量，而不固定权重范数。
50%待验证原始Muon优化器在训练过程中累积有效学习率只能达到对数级增长，这可能限制模型的探索能力。
50%待验证DP-Adam 是将 DP-SGD 的裁剪加噪步骤嵌入 Adam 优化器的动量估计中的隐私版本；DP-Muon 是针对矩阵参数使用 Muon 优化器（基于矩阵正交化更新）的隐私版本。
50%待验证在常见的连续径向分布下，ICM的平均曲率解释几乎无法为Muon的更新提供非平凡的支撑，Muon的最优性变得极其罕见。
50%待验证Muon的有效性可能不能简单归因于平均曲率下的梯度正交化，因为该解释在一般径向分布下极度不稳定。
50%待验证Muon优化器用近似的极因子（polar factor）替代传统的矩阵梯度更新。
50%待验证Isotropic Curvature Model（ICM）从曲率角度解释Muon的有效性：当梯度正交化最小化一步局部损失代理时，Muon的更新方向是合理的。
50%待验证零容量刚性（zero-capacity rigidity）表明：在无原子的连续径向分布下，精确的缩放极最优性仅当梯度本身已经是缩放列等距时才可能成立。
50%待验证Muon 优化器由 Jordan Juravsky 等人设计，专为矩阵参数设计，关键创新是在动量更新后对梯度矩阵做正交化处理
50%待验证在 NanoGPT Speedrun 中，Muon 通常只用于隐藏层的矩阵权重，而嵌入层和输出层仍保留 AdamW
50%待验证解码器和表格使用AdamW优化器（学习率1×10⁻⁵），循环权重使用Muon优化器（学习率0.005，动量0.95）
50%待验证Muon优化器由Jeremy Bernstein等人提出，核心思想是对梯度矩阵通过Newton-Schulz迭代执行正交化处理
50%待验证Muon的优异表现或许源于其在最坏情况下的优化性质，而非平均意义上的曲率匹配。
50%待验证Thinking Machines推出Dimuon优化器，为Muon变体，专为LoRA微调设计，已在Tinker中发布。
50%