灾难性遗忘
神经网络在学习新任务或适应新数据时,不可逆地覆盖旧有权重模式的现象,导致模型丧失之前习得的知识或风格特征,是持续学习领域尚未完全解决的核心难题
时间轴 (近 90 天)
项目作为记忆的知识更新是即时的、可控的,不存在微调过程中常见的灾难性遗忘问题
为已有的VLM赋予生成能力时,往往会损害模型预训练积累的理解能力,出现灾难性遗忘(catastrophic forgetting)
在视觉对齐训练阶段冻结LLM主干参数、分阶段训练、数据配比回放和LoRA等方法可缓解多模态训练中的灾难性遗忘问题
缓解灾难性遗忘的策略包括弹性权重巩固(EWC)、数据混合回放、控制学习率与训练步数以及使用 LoRA 等参数高效方法
梯度方法在学习新任务时往往覆盖旧知识产生灾难性遗忘,而种群式进化系统天然维护解的多样性存档
灾难性遗忘现象由McCloskey和Cohen于1989年正式描述,指神经网络在学习新任务时往往覆盖旧知识
人脑通过海马体与新皮层的协同机制(互补学习系统理论)实现快速学习与长期记忆巩固的分离
全部知识事实 (7)
项目作为记忆的知识更新是即时的、可控的,不存在微调过程中常见的灾难性遗忘问题
50%待验证为已有的VLM赋予生成能力时,往往会损害模型预训练积累的理解能力,出现灾难性遗忘(catastrophic forgetting)
50%待验证在视觉对齐训练阶段冻结LLM主干参数、分阶段训练、数据配比回放和LoRA等方法可缓解多模态训练中的灾难性遗忘问题
50%待验证缓解灾难性遗忘的策略包括弹性权重巩固(EWC)、数据混合回放、控制学习率与训练步数以及使用 LoRA 等参数高效方法
50%待验证梯度方法在学习新任务时往往覆盖旧知识产生灾难性遗忘,而种群式进化系统天然维护解的多样性存档
50%待验证灾难性遗忘现象由McCloskey和Cohen于1989年正式描述,指神经网络在学习新任务时往往覆盖旧知识
50%待验证人脑通过海马体与新皮层的协同机制(互补学习系统理论)实现快速学习与长期记忆巩固的分离
50%