Muon

由Jordan Juravsky等人专为矩阵参数设计的深度学习优化器，关键创新是在动量更新后对梯度矩阵做正交化处理，基于Nesterov动量与牛顿-舒尔茨迭代，在模型训练效率竞赛中表现出优于AdamW的收敛速度