待验证50% 置信事实精确时间
条件锚定生成蒸馏(CAGD)是一种针对语言模型持续学习中灾难性遗忘问题的方法,它将旧模型的预测分布作为蒸馏目标,从行为层面而非数据层面保护模型能力
1
来源数
50%
置信度
长期有效
时效性
2026/10/7
首次发现
来源
涉及实体
相关事实
待验证CAGD将数据重放中混为一谈的三个角色解耦:条件(选择保护什么行为)、教师生成(定位在哪里保护)、软目标(指定预测可以如何变化)70% 相似已验证推测解码是一种不改变模型输出分布的无损加速技术,使用参数量远小于目标模型的草稿模型生成候选token,再让目标模型并行验证66% 相似待验证arXiv论文《Learning Style, Forgetting Semantics》通过理论建模解释了SFT比RFT更易遗忘的现象64% 相似待验证流式模型蒸馏的挑战在于教师模型若采用非因果架构,其潜在表征包含未来信息,而学生模型推理时无法获取,需设计对齐策略避免学生被迫拟合无法复现的信息64% 相似待验证越狱模型指通过提示词技巧或技术手段绕过大语言模型内置的安全过滤机制使其输出被限制的内容64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/982971API
curl https://kongchang.com/api/v1/knowledge/claims/982971MCP
get_claim(id=982971)