待验证50% 置信事实精确时间
Ambient SFT 框架通过让微调模型在粗粒度上匹配预训练模型的高温条件分布,来缓解小数据SFT的过拟合与灾难性遗忘问题。
1
来源数
50%
置信度
长期有效
时效性
2026/11/18
首次发现
来源
涉及实体
相关事实
待验证在Ambient SFT中,温度超参数T控制对预训练模型的信任程度:当T趋于无穷大时,方法退化为标准SFT;当T=1时,则变为知识蒸馏。73% 相似待验证Ambient SFT的未来方向可能扩展到更多模态和任务,或与参数高效微调技术结合,进一步降低微调门槛。72% 相似待验证标准SFT流程中模型会持续在已经拟合良好的序列上消耗梯度,导致输出分布收窄、熵降低,从而压缩了后续RL的探索空间70% 相似待验证FM-Recon中基础模型参数保持冻结,仅训练轻量级的特征精炼和融合模块,以避免灾难性遗忘并降低计算开销。70% 相似待验证传统SFT只最大化标注数据的似然,缺乏对预训练知识的保留机制,因此在小数据场景下表现受限。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1182991API
curl https://kongchang.com/api/v1/knowledge/claims/1182991MCP
get_claim(id=1182991)