EWC
由DeepMind于2017年发表在Nature上的增量学习正则化方法，核心思想来自贝叶斯学习，将旧任务参数后验分布近似为高斯分布，用Fisher信息矩阵衡量参数重要性，防止灾难性遗忘
核心事实
时间轴 (近 90 天)
为缓解灾难性遗忘，实践中常采用回放缓冲区保留历史样本、弹性权重巩固约束重要参数更新幅度、或参数高效微调（如LoRA）等方式。
RSI-Anything 的保留机制实现路径更贴近系统级的组件验证，而非参数级正则化约束（如 EWC 或 PNN）
标准EWC通常采用对角Fisher信息矩阵近似参数重要性，计算成本低但假设各参数相互独立，忽略参数间相关性，对高度耦合的神经网络近似过于粗糙
EWC的数学形式为在新任务损失上叠加惩罚项，形如L_new + λΣF_i(θ_i - θ_i*)^2，其中θ*是旧任务参数快照，λ控制保护力度，F_i来自费雪信息矩阵
在任务互补的场景下使用EWC把参数锁死在旧的最优位置附近，会阻碍模型充分吸收金融领域特有模式，拉低整体性能
在需要正则化的情形下，mini-KFAC EWC相比标准对角EWC能够实现更低的词错误率和更稳定的优化过程
EWC的正则化项形式为 λ/2 × Σ Fᵢ(θᵢ - θ*ᵢ)²，其中θ*ᵢ是旧任务训练完成后的权重值，Fᵢ是费舍尔信息，λ控制约束强度
在EWC实验中，完全不使用任务A的数据，任务A准确率中途下探到97%后恢复并稳定在100%，任务B达到100%，实现无持久遗忘
EWC由Kirkpatrick等人于2017年提出，其理论基础来自贝叶斯推断，使用费舍尔信息矩阵估计每个权重对旧任务的重要性
本文实验为经过简化的二维玩具实验，使用规模极小的网络和仅两个任务，真实大规模模型中任务冲突和权重重要性估计更复杂
还有 5 条时间轴事件
全部知识事实 (15)
缓解灾难性遗忘的三类主要策略为基于正则化的方法（如EWC）、基于回放的方法（如Experience Replay）和基于架构的方法（如Progressive Neural Networks）
75%已验证弹性权重巩固（EWC）通过费舍尔信息矩阵估计参数对旧任务的重要程度，对重要参数施加更强的正则化惩罚来缓解灾难性遗忘
65%待验证为缓解灾难性遗忘，实践中常采用回放缓冲区保留历史样本、弹性权重巩固约束重要参数更新幅度、或参数高效微调（如LoRA）等方式。
50%待验证RSI-Anything 的保留机制实现路径更贴近系统级的组件验证，而非参数级正则化约束（如 EWC 或 PNN）
50%待验证EWC的数学形式为在新任务损失上叠加惩罚项，形如L_new + λΣF_i(θ_i - θ_i*)^2，其中θ*是旧任务参数快照，λ控制保护力度，F_i来自费雪信息矩阵
50%待验证在任务互补的场景下使用EWC把参数锁死在旧的最优位置附近，会阻碍模型充分吸收金融领域特有模式，拉低整体性能
50%待验证标准EWC通常采用对角Fisher信息矩阵近似参数重要性，计算成本低但假设各参数相互独立，忽略参数间相关性，对高度耦合的神经网络近似过于粗糙
50%待验证在需要正则化的情形下，mini-KFAC EWC相比标准对角EWC能够实现更低的词错误率和更稳定的优化过程
50%待验证本文实验为经过简化的二维玩具实验，使用规模极小的网络和仅两个任务，真实大规模模型中任务冲突和权重重要性估计更复杂
50%待验证在EWC实验中，完全不使用任务A的数据，任务A准确率中途下探到97%后恢复并稳定在100%，任务B达到100%，实现无持久遗忘
50%待验证EWC由Kirkpatrick等人于2017年提出，其理论基础来自贝叶斯推断，使用费舍尔信息矩阵估计每个权重对旧任务的重要性
50%待验证EWC的正则化项形式为 λ/2 × Σ Fᵢ(θᵢ - θ*ᵢ)²，其中θ*ᵢ是旧任务训练完成后的权重值，Fᵢ是费舍尔信息，λ控制约束强度
50%待验证EWC在容量不足以容纳两个任务时只能减缓遗忘速度而无法从根本上解决容量瓶颈，且随任务数量增加约束项叠加导致开销增大
50%待验证应对灾难性遗忘的主流方法分为三类：参数隔离法（如Progressive Neural Networks）、正则化约束法（如EWC弹性权重巩固算法）、经验回放法
50%待验证应对灾难性遗忘的主流策略分为正则化方法（如EWC）、动态架构方法（如Progressive Neural Networks）和回放方法三类
50%