[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
模型
MuonW优化器
MuonW
一种基于Muon的优化器变体,通过权重范数控制方法保证线性累积有效学习率增长。
时间轴 (近 90 天)
10月28日
MuonW和MuonH优化器在给定条件下能够保证至少线性的累积有效学习率增长。
待验证
50%
全部知识事实 (1)
待验证
MuonW和MuonH优化器在给定条件下能够保证至少线性的累积有效学习率增长。
50%
来源文章
MuonGS:放宽权重范数控制,加速LLM预训练
10月28日