灾难性遗忘
神经网络在学习新任务或适应新数据时，不可逆地覆盖旧有权重模式的现象，导致模型丧失之前习得的知识或风格特征，是持续学习领域尚未完全解决的核心难题
核心事实
时间轴 (近 90 天)
要实现持续成长，需要解决'灾难性遗忘'问题——新数据训练会覆盖旧知识。
ZY-S1的MATH-500从4降到0是微调数据分布偏移导致灾难性遗忘的典型表现。
在持续学习场景中，若无法区分哪些信息被固化进参数、哪些只是状态漂移，就难以判断灾难性遗忘究竟发生在哪一层。
在循环网络中，灾难性遗忘问题被放大：由于隐藏状态在时间上递归耦合，权重的微小改动可能通过多步传播被指数级放大。
后训练阶段存在灾难性遗忘的风险，Web 原生模型的后训练通常采用混合数据策略，将通用指令数据与 Web 交互数据进行配比训练。
将通用领域训练的Whisper-small模型迁移适配到Earnings22基准数据集时，所有评估方法在适配过程中对同领域留出集的金融语音表现都在改善而非退化，预期中的灾难性遗忘没有发生
在朴素训练下，网络先在任务A上训练到100%准确率，随后仅用任务B数据训练，任务A准确率从100%跌到64%，任务B达到100%
灾难性遗忘的根源是两个任务的最优权重区域不重合，优化方向存在根本性冲突
在童声数据上微调成人ASR模型会导致灾难性遗忘，使模型在成人语音上的识别能力退化
交错训练能防止灾难性遗忘，避免模型学习新类型数据时遗忘先前学到的数据
还有 14 条时间轴事件
全部知识事实 (20)
人脑通过海马体与新皮层的协同机制（互补学习系统理论）实现快速学习与长期记忆巩固的分离
85%已验证灾难性遗忘问题最早在1989年由McCloskey和Cohen提出
85%已验证灾难性遗忘（Catastrophic Forgetting）是神经网络在持续学习场景下的经典痛点，当网络在新任务上更新参数时会覆盖旧任务对应的权重分布，导致旧能力退化
75%已验证灾难性遗忘现象由McCloskey和Cohen于1989年正式描述，指神经网络在学习新任务时往往覆盖旧知识
75%已验证缓解灾难性遗忘的三类主要策略为基于正则化的方法（如EWC）、基于回放的方法（如Experience Replay）和基于架构的方法（如Progressive Neural Networks）
75%已验证灾难性遗忘是神经网络领域的经典难题，早在1990年代研究者就发现神经网络在新任务上持续训练时旧任务性能会急剧下降
75%已验证若只用新增类别数据微调扩展后的分类头，模型极易出现灾难性遗忘，急剧丧失对原有类别的识别能力
65%已验证灾难性遗忘指神经网络学习新任务时迅速覆盖旧知识，学界主流解决思路包括正则化方法（如EWC）、动态架构方法和回放方法
65%待验证梯度方法在学习新任务时往往覆盖旧知识产生灾难性遗忘，而种群式进化系统天然维护解的多样性存档
70%待验证要实现持续成长，需要解决'灾难性遗忘'问题——新数据训练会覆盖旧知识。
50%待验证ZY-S1的MATH-500从4降到0是微调数据分布偏移导致灾难性遗忘的典型表现。
50%待验证在持续学习场景中，若无法区分哪些信息被固化进参数、哪些只是状态漂移，就难以判断灾难性遗忘究竟发生在哪一层。
50%待验证在循环网络中，灾难性遗忘问题被放大：由于隐藏状态在时间上递归耦合，权重的微小改动可能通过多步传播被指数级放大。
50%待验证后训练阶段存在灾难性遗忘的风险，Web 原生模型的后训练通常采用混合数据策略，将通用指令数据与 Web 交互数据进行配比训练。
50%待验证将通用领域训练的Whisper-small模型迁移适配到Earnings22基准数据集时，所有评估方法在适配过程中对同领域留出集的金融语音表现都在改善而非退化，预期中的灾难性遗忘没有发生
50%待验证灾难性遗忘的根源是两个任务的最优权重区域不重合，优化方向存在根本性冲突
50%待验证在朴素训练下，网络先在任务A上训练到100%准确率，随后仅用任务B数据训练，任务A准确率从100%跌到64%，任务B达到100%
50%待验证在童声数据上微调成人ASR模型会导致灾难性遗忘，使模型在成人语音上的识别能力退化
50%待验证交错训练能防止灾难性遗忘，避免模型学习新类型数据时遗忘先前学到的数据
50%待验证监督微调（SFT）往往比强化微调（RFT）带来更严重的灾难性遗忘
50%