CAGD
一种用于缓解语言模型持续学习中灾难性遗忘的方法，通过将旧模型预测分布作为蒸馏目标，将条件、教师生成和软目标三个角色解耦，从行为层面而非数据层面保护旧知识
时间轴 (近 90 天)
条件锚定生成蒸馏(CAGD)是一种针对语言模型持续学习中灾难性遗忘问题的方法，它将旧模型的预测分布作为蒸馏目标，从行为层面而非数据层面保护模型能力
CAGD将数据重放中混为一谈的三个角色解耦：条件(选择保护什么行为)、教师生成(定位在哪里保护)、软目标(指定预测可以如何变化)
对于自回归语言生成，CAGD的教师展开蒸馏可以通过链式法则对序列散度进行精确分解
论文在一个2.19亿参数(219M)的掩码扩散语言模型上进行了四任务的持续适应实验
在某一任务顺序下，四任务最终的留出损失从2.927降至1.114；在相反任务顺序下从2.168降至0.891
当教师生成的支持集保持完全相同时，仅用软目标替代硬重放就能让最终平均损失再降低0.055
研究者在SMDM和Qwen3等模型上针对新事实和自然指令进行了验证，CAGD改善遗忘的方向性结论依然成立
在GSM8K数学推理任务上，Qwen模型适应能保持答案格式合规性，但精确匹配保留效果在0.6B规模受随机种子影响混杂，在1.7B规模甚至有所恶化
CAGD相比硬重放更灵活，允许学生在旧提示上产生与教师措辞不同但语义等价的输出
全部知识事实 (9)
条件锚定生成蒸馏(CAGD)是一种针对语言模型持续学习中灾难性遗忘问题的方法，它将旧模型的预测分布作为蒸馏目标，从行为层面而非数据层面保护模型能力
50%待验证CAGD将数据重放中混为一谈的三个角色解耦：条件(选择保护什么行为)、教师生成(定位在哪里保护)、软目标(指定预测可以如何变化)
50%待验证对于自回归语言生成，CAGD的教师展开蒸馏可以通过链式法则对序列散度进行精确分解
50%待验证论文在一个2.19亿参数(219M)的掩码扩散语言模型上进行了四任务的持续适应实验
50%待验证在某一任务顺序下，四任务最终的留出损失从2.927降至1.114；在相反任务顺序下从2.168降至0.891
50%待验证当教师生成的支持集保持完全相同时，仅用软目标替代硬重放就能让最终平均损失再降低0.055
50%待验证研究者在SMDM和Qwen3等模型上针对新事实和自然指令进行了验证，CAGD改善遗忘的方向性结论依然成立
50%待验证在GSM8K数学推理任务上，Qwen模型适应能保持答案格式合规性，但精确匹配保留效果在0.6B规模受随机种子影响混杂，在1.7B规模甚至有所恶化
50%待验证CAGD相比硬重放更灵活，允许学生在旧提示上产生与教师措辞不同但语义等价的输出
50%