概念通用预算感知学习率衰减 / UBA LRD
UBA
一种基于总训练预算的开环学习率衰减设计框架,通过离线计算最优学习率曲线并以迭代次数为锚点驱动,但依赖SGD动力学且优化难度参数含义模糊。
时间轴 (近 90 天)
10月27日
UBA(通用预算感知)学习率衰减依赖固定的离线轨迹,仅锚定迭代次数,无法根据模型内部状态动态调整,本质上是开环控制。
待验证50%
10月27日
UBA的推导建立在SGD的连续时间动力学之上,因此其最优性结论对SGD成立,却难以直接迁移到Adam等自适应优化器。
待验证50%