[控场AI]
概念Supervised Fine-Tuning / 有监督微调

SFT

监督微调(Supervised Fine-Tuning,SFT)是一种机器学习技术,指在预训练模型基础上,使用标注好的指令-响应对数据进行有监督训练,使模型学习遵循指令并生成符合预期的输出。在大语言模型对齐流程中,SFT是使模型具备对话和指令跟随能力的关键步骤,训练时通常仅对模型回复部分计算损失,以引导模型学习正确的回答模式。

核心事实

时间轴 (近 90 天)

11月18日

在预训练好的开源基座模型之上,利用企业自有数据与业务反馈信号进行后训练(如SFT与RLHF/RLAIF),比从头预训练通用大模型算力需求低得多,且能针对垂直场景打磨准确率,这是成本比顶级通用模型便宜一个数量级的关键原因。

待验证50%
11月18日

在与SFT的对比中,JET在专家轨迹上实现了比SFT少18%到28%的工具调用,同时保留了SFT的大部分得分提升。

待验证50%
11月18日

JET通过截断和理由增强,本质上是在SFT框架内引入对关键决策的强调,从而缓解SFT的缺陷。

待验证50%
11月18日

SFT的损失函数平等对待轨迹中的每个token,无法区分关键决策点与普通操作,因此难以纠正过度探索。

待验证50%
11月18日

监督微调(SFT)在专家轨迹上训练时,会将轨迹中的过度探索行为一并“传染”给智能体,从而加剧过度探索问题。

待验证50%
11月17日

当监督较弱时,轻量级 SFT 可以强化教师基于上下文的拒绝行为,显著提升 SS1 和 SS0.5 两项分数。

待验证50%
11月17日

三种训练形态(训练 Agent、托管训练、训练 API)都支持监督微调(SFT)、强化微调(RFT)和 DPO。

待验证50%
11月17日

在多步工具调用任务中,SFT 提供初始策略和推理格式,RL 负责在奖励引导下微调决策边界。

待验证50%
11月13日

DiVR 能与监督微调(SFT)和强化学习(RL)等后训练方法互补。

待验证50%
11月13日

Fikiria 的第一阶段是监督微调(SFT),第二阶段采用 GRPO 进行强化学习。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

现代大语言模型通常经历预训练、监督微调(SFT)和基于人类反馈的强化学习(RLHF)三个训练阶段

90%
已验证

RLHF流程包含三步:训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力

90%
已验证

当代前沿模型的训练方法包括RLHF(基于人类反馈的强化学习)及其后继者RLAIF和过程奖励模型(PRM)

90%
已验证

「后训练」(Post-training)是预训练完成后的对齐与能力强化阶段,通常包括SFT、RLHF及基于过程奖励模型的强化学习(如GRPO、DAPO)

80%
已验证

后训练是大语言模型从预训练完成到真正可用之间的关键环节,涵盖监督微调(SFT)、指令对齐、RLHF/DPO 等技术手段

75%
已验证

对于标签空间离散且封闭的分类任务,SFT的训练信号已足够清晰,引入强化学习反而会增加超参数调节难度和训练不稳定性

75%
已验证

监督微调(SFT)使用'提示-回答'示例对模型进行训练,让模型学会以对话形式响应,从而使输出更连贯

75%
已验证

大模型训练经历三个核心阶段:预训练、有监督微调(SFT)和偏好对齐

75%
已验证

领域微调通常先通过监督微调(SFT)注入领域知识,再经过基于人类反馈的强化学习(RLHF)对齐用户偏好

70%
已验证

SFT训练时模型只在assistant部分计算损失(损失掩码技术),即只学习如何回答,不学习如何提问

65%
待验证

继续预训练(CPT)后通常还需要再做一轮SFT才能恢复模型的对话能力,因为CPT可能会削弱模型在SFT阶段学到的指令遵循能力

85%
待验证

经过强化学习(RL)训练的模型在Agent任务中表现优于仅经过SFT的模型

70%
部分验证

从预训练检查点到可商用产品需经历监督式指令微调(SFT)和基于人类反馈的强化学习(RLHF)两个后训练阶段

65%
待验证

SFT微调有效但导致小模型通用知识下降,即灾难性遗忘现象,因小模型容量瓶颈突出

60%
待验证

一个典型的后训练流水线是:预训练 → 监督微调(SFT)→ 偏好优化(RLHF / DPO / GRPO)

60%
待验证

2018年BERT与GPT的出现开启了预训练+微调范式

60%
待验证

指令微调和RLHF强化了模型的指令跟随倾向,使其在提升任务能力的同时更易被外部指令误导

60%
待验证

SFT阶段的学习率通常比预训练低1-2个数量级,以避免破坏预训练阶段学到的通用知识

60%
待验证

大模型核心原理包括Transformer架构、预训练、SFT监督微调、RLHF人类反馈强化学习等关键概念

60%
待验证

在预训练好的开源基座模型之上,利用企业自有数据与业务反馈信号进行后训练(如SFT与RLHF/RLAIF),比从头预训练通用大模型算力需求低得多,且能针对垂直场景打磨准确率,这是成本比顶级通用模型便宜一个数量级的关键原因。

50%

来源文章