在通用基座模型上用领域语料进行额外无监督训练,使模型吸收领域知识的技术方法,属于迁移学习的一种形式
微调(Fine-tuning)通过反向传播算法在预训练权重基础上继续更新参数,使模型适应特定领域或任务风格
学习方法在数据充足时性能更强,但需要为域偏移下的鲁棒性付出代价