[控场AI]
概念Catastrophic Forgetting / 灾难性遗忘问题

灾难性遗忘

神经网络在学习新任务或适应新数据时,不可逆地覆盖旧有权重模式的现象,导致模型丧失之前习得的知识或风格特征,是持续学习领域尚未完全解决的核心难题

时间轴 (近 90 天)

9月7日

项目作为记忆的知识更新是即时的、可控的,不存在微调过程中常见的灾难性遗忘问题

待验证50%
9月5日

为已有的VLM赋予生成能力时,往往会损害模型预训练积累的理解能力,出现灾难性遗忘(catastrophic forgetting)

待验证50%
9月4日

在视觉对齐训练阶段冻结LLM主干参数、分阶段训练、数据配比回放和LoRA等方法可缓解多模态训练中的灾难性遗忘问题

待验证50%
8月24日

缓解灾难性遗忘的策略包括弹性权重巩固(EWC)、数据混合回放、控制学习率与训练步数以及使用 LoRA 等参数高效方法

待验证50%
7月21日

梯度方法在学习新任务时往往覆盖旧知识产生灾难性遗忘,而种群式进化系统天然维护解的多样性存档

待验证50%
7月17日

灾难性遗忘现象由McCloskey和Cohen于1989年正式描述,指神经网络在学习新任务时往往覆盖旧知识

待验证50%
7月14日

人脑通过海马体与新皮层的协同机制(互补学习系统理论)实现快速学习与长期记忆巩固的分离

待验证50%

全部知识事实 (7)

来源文章