多任务训练对学习率敏感，可以尝试更小的学习率、warmup 或分层学习率。