ConceptMUON
MUON优化器
MUON优化器是一种用于深度学习模型训练的梯度优化算法，基于动量更新与正交化处理的结合，旨在提升大规模神经网络的训练效率与收敛稳定性。其核心思想是通过对梯度进行Nesterov动量更新后执行矩阵正交化操作，从而在参数更新方向上保持更优的几何特性，适用于Transformer等大型模型的预训练场景。
Timeline (last 90 days)
Jun 2
DeepSeek V4采用MUON优化器替代AdamW进行训练
Unverified85%
Jun 2
MUON优化器最早在Kimi模型中得到验证
Unverified70%
May 31
MUON优化器最早由月之暗面（Kimi）团队在其k1.5技术报告中公开提出
Unverified75%
May 31
MUON优化器替代了沿用多年的AdamW优化器，通过引入矩阵正交化步骤使训练曲线更加平滑
Unverified80%
May 31
Muon优化器由Kosson等研究者提出，核心改进在于对梯度更新矩阵进行正交化处理
Unverified85%
May 31
Composer 2.5的核心技术栈包括文本反馈定向强化学习、大规模合成数据生成，以及使用MUON优化器与HSDP分布式方案
Unverified90%