概念Self-Supervised Forgetting
自监督遗忘
模型在仅用自生成标签进行在线适应时,逐渐丢失预训练阶段获得的通用能力的现象。
时间轴 (近 90 天)
11月9日
PC-Dr.DPO 引入了一种基于缓存的机制,以减少在线适应过程中的自监督遗忘(self-supervised forgetting)。
待验证50%
11月9日
自监督遗忘指模型在仅用自生成标签进行在线适应时,会逐渐丢失预训练阶段获得的通用能力。
待验证50%
模型在仅用自生成标签进行在线适应时,逐渐丢失预训练阶段获得的通用能力的现象。
PC-Dr.DPO 引入了一种基于缓存的机制,以减少在线适应过程中的自监督遗忘(self-supervised forgetting)。
自监督遗忘指模型在仅用自生成标签进行在线适应时,会逐渐丢失预训练阶段获得的通用能力。