[控场AI]
概念Ambient LLMs / 环境SFT

Ambient SFT

一种数据高效的监督微调(SFT)框架,通过让微调模型在高温软化的粗粒度分布上匹配冻结预训练模型的预测,以正则化方式保留预训练知识,缓解小数据SFT中的过拟合与灾难性遗忘。

时间轴 (近 90 天)

11月18日

Ambient SFT 框架通过让微调模型在粗粒度上匹配预训练模型的高温条件分布,来缓解小数据SFT的过拟合与灾难性遗忘问题。

待验证50%
11月18日

在Ambient SFT中,温度超参数T控制对预训练模型的信任程度:当T趋于无穷大时,方法退化为标准SFT;当T=1时,则变为知识蒸馏。

待验证50%
11月18日

论文在领域适应、指令微调和推理任务上评估Ambient SFT,结果显示该方法在所有这些场景下均优于标准SFT,平均相对提升达21%。

待验证50%
11月18日

Ambient SFT的提升并非来自额外的标注数据,而是通过充分利用冻结预训练模型的预测分布实现的。

待验证50%
11月18日

在知识蒸馏与Ambient SFT中,损失函数通常由任务损失与KL散度正则项组成:前者拉近模型输出与硬标签的距离,后者约束模型分布不偏离教师分布太远。

待验证50%
11月18日

温度T在Ambient SFT中扮演关键角色:高温下softmax输出趋于均匀,KL项对分布的约束变得粗粒度,仅要求模型在较大类别分组上与教师保持一致。

待验证50%
11月18日

对于从业者而言,Ambient SFT提供了一种简单可实现的改进方案:在标准SFT损失中引入温度匹配项,即可在小数据场景下获得更稳健的模型。

待验证50%
11月18日

Ambient SFT的未来方向可能扩展到更多模态和任务,或与参数高效微调技术结合,进一步降低微调门槛。

待验证50%

全部知识事实 (8)

来源文章