待验证50% 置信发布精确时间

arXiv论文《Learning Style, Forgetting Semantics》通过理论建模解释了SFT比RFT更易遗忘的现象

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/5

首次发现

有效期至：2027/1/3

来源

SFT为何比RFT更易遗忘？风格漂移揭示监督微调的隐性代价

涉及实体

Learning Style, Forgetting Semanticsconcept arXivproduct

相关事实

待验证这篇arXiv论文指出，如果只用孤立的三元组训练大语言模型，模型往往学不到三元组周边的上下文，而这些上下文是多跳推理所必需的69% 相似待验证通过提示词约束输出格式时，模型可能在长对话或复杂推理场景下忘记这些约束68% 相似待验证在推理阶段提供in-context learning示例可以大幅缓解语境混淆问题67% 相似待验证大语言模型的知识是通用性的，不了解具体项目上下文，面对已有系统时缺乏项目特定上下文会导致输出退化为有根据的猜测66% 相似待验证知识蒸馏的中间层对齐策略（如PKD、TinyBERT）通过强制学生模型的隐藏表示模仿教师模型的分布间接约束嵌入几何结构66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/975963

API

curl https://kongchang.com/api/v1/knowledge/claims/975963

MCP

get_claim(id=975963)