待验证50% 置信事实精确时间
在Ambient SFT中,温度超参数T控制对预训练模型的信任程度:当T趋于无穷大时,方法退化为标准SFT;当T=1时,则变为知识蒸馏。
1
来源数
50%
置信度
长期有效
时效性
2026/11/18
首次发现
来源
涉及实体
相关事实
待验证Ambient SFT 框架通过让微调模型在粗粒度上匹配预训练模型的高温条件分布,来缓解小数据SFT的过拟合与灾难性遗忘问题。73% 相似待验证蒸馏通常引入温度参数T对教师输出进行平滑处理,T越大分布越平缓、暗知识越丰富。69% 相似待验证传统SFT只最大化标注数据的似然,缺乏对预训练知识的保留机制,因此在小数据场景下表现受限。68% 相似待验证温度缩放通过在softmax之前将logit值除以可学习的标量参数T来校准模型,T大于1软化概率分布,T小于1使分布更尖锐,无需重新训练主模型65% 相似待验证温度校准假设验证集与部署分布同源,一旦发生时间漂移,标定出的 T 就会失效。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1182992API
curl https://kongchang.com/api/v1/knowledge/claims/1182992MCP
get_claim(id=1182992)