[控场AI]
概念C_T

累积有效学习率

一种衡量优化器探索能力的理论指标,定义为名义学习率除以权重范数在训练过程中的累积和,反映权重相对位移的总幅度。

时间轴 (近 90 天)

10月28日

原始Muon优化器在训练过程中累积有效学习率只能达到对数级增长,这可能限制模型的探索能力。

待验证50%
10月28日

理论分析表明,在MuonGS下,经过t步后权重范数最多按√t的比例增长,保证累积有效学习率C_T = Ω(√T)。

待验证50%
10月28日

累积有效学习率C_T = Σ_{t<T} η_t / ||W_t||_F 将权重范数控制与优化器的探索能力联系起来。

待验证50%

全部知识事实 (3)

来源文章