监督微调
使用问答对、指令-响应对等结构化标注数据对模型进行微调，使其学会遵循人类指令的训练方法，是RLHF流程的第一阶段
核心事实
时间轴 (近 90 天)
研究团队将原始PDF文件转换为结构化的问答对，并以JSON格式存储，用于模型的监督微调
「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
「复读」现象是大模型在 Agent 场景下的典型故障，通常源于强化学习阶段的奖励设计缺陷或缺乏有效的终止判断机制
监督微调（SFT）使用几十万条高质量对话事例的小型数据集，耗时几个小时而非几个月
TRACER 采用两阶段训练：第一阶段在真实用户对话上做监督微调（SFT），第二阶段引入多轮强化学习（RL）
监督学习只能模仿每一步的局部合理性，无法保证整段对话轨迹的全局一致性
改善模型校准的研究方向包括通过监督微调引入不确定性标记、使用温度采样对概率分布进行后校准，以及训练模型主动输出拒绝回答的能力
通过监督微调（SFT）施加的行为限制有时只需数百条对抗样本就能在权重层面被覆盖
基座模型采用Qwen3-14B，通过监督微调（SFT）分别训练出KGModel和CGModel两个版本
监督微调（SFT）使用'提示-回答'示例对模型进行训练，让模型学会以对话形式响应，从而使输出更连贯
还有 2 条时间轴事件
全部知识事实 (15)
现代大语言模型通常经历预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个训练阶段
90%已验证「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
80%已验证监督微调（SFT）使用'提示-回答'示例对模型进行训练，让模型学会以对话形式响应，从而使输出更连贯
75%已验证自监督学习是预训练阶段的核心范式，模型通过下一个词预测任务从数据本身构造训练信号
65%待验证经过强化学习（RL）训练的模型在Agent任务中表现优于仅经过SFT的模型
70%待验证业界探索的思考力度校准方向包括基于强化学习训练模型的元认知能力、通过监督微调学习推理深度分布、以及设计动态停止机制
70%待验证研究团队将原始PDF文件转换为结构化的问答对，并以JSON格式存储，用于模型的监督微调
50%待验证「复读」现象是大模型在 Agent 场景下的典型故障，通常源于强化学习阶段的奖励设计缺陷或缺乏有效的终止判断机制
50%待验证监督微调（SFT）使用几十万条高质量对话事例的小型数据集，耗时几个小时而非几个月
50%待验证TRACER 采用两阶段训练：第一阶段在真实用户对话上做监督微调（SFT），第二阶段引入多轮强化学习（RL）
50%待验证监督学习只能模仿每一步的局部合理性，无法保证整段对话轨迹的全局一致性
50%待验证改善模型校准的研究方向包括通过监督微调引入不确定性标记、使用温度采样对概率分布进行后校准，以及训练模型主动输出拒绝回答的能力
50%待验证通过监督微调（SFT）施加的行为限制有时只需数百条对抗样本就能在权重层面被覆盖
50%待验证基座模型采用Qwen3-14B，通过监督微调（SFT）分别训练出KGModel和CGModel两个版本
50%待验证典型的SFT数据集可能只有数万到数十万条样本，远小于预训练数据规模
50%