MUON优化器

MUON优化器是一种用于深度学习模型训练的梯度优化算法，基于动量更新与正交化处理的结合，旨在提升大规模神经网络的训练效率与收敛稳定性。其核心思想是通过对梯度进行Nesterov动量更新后执行矩阵正交化操作，从而在参数更新方向上保持更优的几何特性，适用于Transformer等大型模型的预训练场景。