[控场AI]
概念warmup / 学习率预热

学习率warmup

训练初期将学习率从极小值逐步升高到峰值再衰减的策略,用于避免训练起步阶段梯度更新过猛导致loss爆炸,提升Transformer类模型的训练稳定性。

时间轴 (近 90 天)

10月20日

学习率warmup在训练初期让学习率从很小的值逐步升高到峰值再衰减,能显著提升Transformer类模型的训练稳定性。

待验证50%

全部知识事实 (1)

来源文章