概念C_T
累积有效学习率
一种衡量优化器探索能力的理论指标,定义为名义学习率除以权重范数在训练过程中的累积和,反映权重相对位移的总幅度。
时间轴 (近 90 天)
10月28日
原始Muon优化器在训练过程中累积有效学习率只能达到对数级增长,这可能限制模型的探索能力。
待验证50%
10月28日
理论分析表明,在MuonGS下,经过t步后权重范数最多按√t的比例增长,保证累积有效学习率C_T = Ω(√T)。
待验证50%
10月28日
累积有效学习率C_T = Σ_{t<T} η_t / ||W_t||_F 将权重范数控制与优化器的探索能力联系起来。
待验证50%