CAGD
一种用于缓解语言模型持续学习中灾难性遗忘的方法，通过将旧模型预测分布作为蒸馏目标，将条件、教师生成和软目标三个角色解耦，从行为层面而非数据层面保护旧知识
时间轴 (近 90 天)
CAGD（计算机辅助几何设计）的诞生是由航空航天与汽车工业对复杂外形零件精确描述的需求驱动的，而非纯数学产物。
CAGD将数据重放中混为一谈的三个角色解耦：条件(选择保护什么行为)、教师生成(定位在哪里保护)、软目标(指定预测可以如何变化)
对于自回归语言生成，CAGD的教师展开蒸馏可以通过链式法则对序列散度进行精确分解
论文在一个2.19亿参数(219M)的掩码扩散语言模型上进行了四任务的持续适应实验
在某一任务顺序下，四任务最终的留出损失从2.927降至1.114；在相反任务顺序下从2.168降至0.891
条件锚定生成蒸馏(CAGD)是一种针对语言模型持续学习中灾难性遗忘问题的方法，它将旧模型的预测分布作为蒸馏目标，从行为层面而非数据层面保护模型能力
研究者在SMDM和Qwen3等模型上针对新事实和自然指令进行了验证，CAGD改善遗忘的方向性结论依然成立
在GSM8K数学推理任务上，Qwen模型适应能保持答案格式合规性，但精确匹配保留效果在0.6B规模受随机种子影响混杂，在1.7B规模甚至有所恶化
CAGD相比硬重放更灵活，允许学生在旧提示上产生与教师措辞不同但语义等价的输出
当教师生成的支持集保持完全相同时，仅用软目标替代硬重放就能让最终平均损失再降低0.055
全部知识事实 (10)
CAGD（计算机辅助几何设计）的诞生是由航空航天与汽车工业对复杂外形零件精确描述的需求驱动的，而非纯数学产物。
50%待验证CAGD将数据重放中混为一谈的三个角色解耦：条件(选择保护什么行为)、教师生成(定位在哪里保护)、软目标(指定预测可以如何变化)
50%待验证对于自回归语言生成，CAGD的教师展开蒸馏可以通过链式法则对序列散度进行精确分解
50%待验证论文在一个2.19亿参数(219M)的掩码扩散语言模型上进行了四任务的持续适应实验
50%待验证在某一任务顺序下，四任务最终的留出损失从2.927降至1.114；在相反任务顺序下从2.168降至0.891
50%待验证条件锚定生成蒸馏(CAGD)是一种针对语言模型持续学习中灾难性遗忘问题的方法，它将旧模型的预测分布作为蒸馏目标，从行为层面而非数据层面保护模型能力
50%待验证研究者在SMDM和Qwen3等模型上针对新事实和自然指令进行了验证，CAGD改善遗忘的方向性结论依然成立
50%待验证在GSM8K数学推理任务上，Qwen模型适应能保持答案格式合规性，但精确匹配保留效果在0.6B规模受随机种子影响混杂，在1.7B规模甚至有所恶化
50%待验证CAGD相比硬重放更灵活，允许学生在旧提示上产生与教师措辞不同但语义等价的输出
50%待验证当教师生成的支持集保持完全相同时，仅用软目标替代硬重放就能让最终平均损失再降低0.055
50%