模型MuonGS优化器
MuonGS
一种基于Muon优化器改进的LLM预训练优化方法，通过Gram-Schmidt投影移除更新中的径向分量，放宽权重范数控制以加速训练。
时间轴 (近 90 天)
10月28日
论文提出了一种名为MuonGS的优化器方法，通过放宽权重范数控制来加速LLM预训练。
待验证50%
10月28日
MuonGS使用Gram-Schmidt投影移除每个Muon更新中的径向分量，而不固定权重范数。
待验证50%
10月28日
理论分析表明，在MuonGS下，经过t步后权重范数最多按√t的比例增长，保证累积有效学习率C_T = Ω(√T)。
待验证50%
10月28日
对于平滑的尺度不变目标，MuonGS建立了O(T^{-1/2})的平稳性保证。
待验证50%
10月28日
在长训练周期下，MuonGS在验证困惑度上优于MuonH。
待验证50%
10月28日
在密集模型上，与MuonH相比，MuonGS在匹配验证损失时估计可获得约15%的token等效加速。
待验证50%
10月28日
MuonGS的设计既保留了权重范数控制的益处，又避免了硬约束带来的限制。
待验证50%
全部知识事实 (7)
待验证
论文提出了一种名为MuonGS的优化器方法，通过放宽权重范数控制来加速LLM预训练。
50%待验证MuonGS使用Gram-Schmidt投影移除每个Muon更新中的径向分量，而不固定权重范数。
50%待验证理论分析表明，在MuonGS下，经过t步后权重范数最多按√t的比例增长，保证累积有效学习率C_T = Ω(√T)。
50%待验证对于平滑的尺度不变目标，MuonGS建立了O(T^{-1/2})的平稳性保证。
50%待验证在长训练周期下，MuonGS在验证困惑度上优于MuonH。
50%待验证在密集模型上，与MuonH相比，MuonGS在匹配验证损失时估计可获得约15%的token等效加速。
50%待验证MuonGS的设计既保留了权重范数控制的益处，又避免了硬约束带来的限制。
50%