[控场AI]
概念CPT / Continual Pre-Training

继续预训练

在通用基座模型上用领域语料进行额外无监督训练,使模型吸收领域知识的技术方法,属于迁移学习的一种形式

核心事实

时间轴 (近 90 天)

10月12日

学习方法在数据充足时性能更强,但需要为域偏移下的鲁棒性付出代价

待验证50%

全部知识事实 (2)

来源文章