学习率warmup在训练初期让学习率从很小的值逐步升高到峰值再衰减，能显著提升Transformer类模型的训练稳定性。