概念warmup / 学习率预热
学习率warmup
训练初期将学习率从极小值逐步升高到峰值再衰减的策略,用于避免训练起步阶段梯度更新过猛导致loss爆炸,提升Transformer类模型的训练稳定性。
时间轴 (近 90 天)
10月20日
学习率warmup在训练初期让学习率从很小的值逐步升高到峰值再衰减,能显著提升Transformer类模型的训练稳定性。
待验证50%
训练初期将学习率从极小值逐步升高到峰值再衰减的策略,用于避免训练起步阶段梯度更新过猛导致loss爆炸,提升Transformer类模型的训练稳定性。
学习率warmup在训练初期让学习率从很小的值逐步升高到峰值再衰减,能显著提升Transformer类模型的训练稳定性。