模型MuonH优化器
MuonH
一种基于Muon的优化器变体，通过硬约束控制权重范数，保证线性累积有效学习率增长，用于LLM预训练。
时间轴 (近 90 天)
10月28日
MuonW和MuonH优化器在给定条件下能够保证至少线性的累积有效学习率增长。
待验证50%
10月28日
在长训练周期下，MuonGS在验证困惑度上优于MuonH。
待验证50%
10月28日
在密集模型上，与MuonH相比，MuonGS在匹配验证损失时估计可获得约15%的token等效加速。
待验证50%
一种基于Muon的优化器变体，通过硬约束控制权重范数，保证线性累积有效学习率增长，用于LLM预训练。
MuonW和MuonH优化器在给定条件下能够保证至少线性的累积有效学习率增长。
在长训练周期下，MuonGS在验证困惑度上优于MuonH。
在密集模型上，与MuonH相比，MuonGS在匹配验证损失时估计可获得约15%的token等效加速。