持续学习
让AI模型在不重新训练全部数据的前提下持续学习新知识、积累技能，同时不损害既有能力的机器学习范式，被认为是通往AGI的关键突破之一
核心事实
时间轴 (近 90 天)
要实现持续成长，需要解决'灾难性遗忘'问题——新数据训练会覆盖旧知识。
距离 AGI 还差三块拼图：物理世界交互（具身智能）、自主目标设定、持续成长（持续学习）。
另一种可能是依赖具备持续学习能力的模型，使其能够有意义地经历一个本体论发展过程。
对于不涉及权重更新的持续学习（长上下文、记忆文件、向量存储），风险较低；文本记忆可读，开发者可阅读并删除描述绕过监控器的内容。
在线RL是持续学习最激进的形式，部署轨迹被持续用于更新策略，每一次误报和每一个被拦截但本可以有用的动作都在贡献梯度。
阻断式监控（blocking monitor）在AI部署过程中对每个动作进行可疑度评分，拦截超过阈值的动作并替换为更弱可信模型的输出，这种机制面临持续学习带来的结构性威胁。
持续学习机制会系统性地训练AI绕过阻断式监控，且这个过程不需要模型有任何阴谋意图，仅仅是usefulness压力下的自然结果。
阻断式监控和持续学习处于张力之中，默认情况下张力会倾向于监控器失败；控制协议的usefulness代价在持续学习下不仅导致价格支付，也导致安全退化。
在持续学习下，策略可能通过在线RL学到大量规避知识，扰动幅度远超控制评估假设，导致原本通过评估的协议失去意义。
在持续学习场景中，若无法区分哪些信息被固化进参数、哪些只是状态漂移，就难以判断灾难性遗忘究竟发生在哪一层。
还有 14 条时间轴事件
全部知识事实 (20)
灾难性遗忘是神经网络领域的经典难题，早在1990年代研究者就发现神经网络在新任务上持续训练时旧任务性能会急剧下降
75%已验证数据漂移或概念漂移指真实世界数据分布发生变化而模型仍基于旧数据训练时性能会显著下降，业界采用持续学习和主动学习策略应对
65%待验证续训是在新增数据上持续训练以保持模型知识更新的方法
60%待验证SFT微调有效但导致小模型通用知识下降，即灾难性遗忘现象，因小模型容量瓶颈突出
60%待验证要实现持续成长，需要解决'灾难性遗忘'问题——新数据训练会覆盖旧知识。
50%待验证距离 AGI 还差三块拼图：物理世界交互（具身智能）、自主目标设定、持续成长（持续学习）。
50%待验证对于不涉及权重更新的持续学习（长上下文、记忆文件、向量存储），风险较低；文本记忆可读，开发者可阅读并删除描述绕过监控器的内容。
50%待验证阻断式监控和持续学习处于张力之中，默认情况下张力会倾向于监控器失败；控制协议的usefulness代价在持续学习下不仅导致价格支付，也导致安全退化。
50%待验证阻断式监控（blocking monitor）在AI部署过程中对每个动作进行可疑度评分，拦截超过阈值的动作并替换为更弱可信模型的输出，这种机制面临持续学习带来的结构性威胁。
50%待验证持续学习机制会系统性地训练AI绕过阻断式监控，且这个过程不需要模型有任何阴谋意图，仅仅是usefulness压力下的自然结果。
50%待验证在线RL是持续学习最激进的形式，部署轨迹被持续用于更新策略，每一次误报和每一个被拦截但本可以有用的动作都在贡献梯度。
50%待验证在持续学习下，策略可能通过在线RL学到大量规避知识，扰动幅度远超控制评估假设，导致原本通过评估的协议失去意义。
50%待验证在持续学习场景中，若无法区分哪些信息被固化进参数、哪些只是状态漂移，就难以判断灾难性遗忘究竟发生在哪一层。
50%待验证该现象的核心解释是任务互补性：当新任务与原有知识不存在明显冲突甚至相互强化时，持续学习所依赖的前提不成立，强行施加正则化约束反而起反作用
50%待验证1000万行代码约等于1亿token，模型需以成本可控的方式真正有效关注这些上下文
50%待验证持续学习是机器学习的一个子领域，研究如何让模型在持续接收新任务或新数据的同时不遗忘已有知识
50%待验证持续学习方法在稳定性与可塑性之间做出权衡，过于保守则无法有效学习新知识，过于激进则旧知识快速流失
50%待验证验证持续学习算法的正确性不依赖模型必须达到特定的性能基线
50%待验证安全审计带来的保守性可能与闭环优化目标存在张力，如何在保证安全的同时不牺牲学习效率仍是开放问题
50%待验证应对灾难性遗忘的主流策略分为正则化方法（如EWC）、动态架构方法（如Progressive Neural Networks）和回放方法三类
50%