后训练
在大模型预训练完成后，针对特定行为目标进行进一步调整的技术统称，常见手段包括SFT、RLHF及基于规则奖励的强化学习
核心事实
时间轴 (近 90 天)
Web 原生模型的后训练目标包括解析 DOM 结构、定位可交互元素、判断下一步点击或输入的位置、以及在页面状态异常时回退重试。
后训练是大语言模型从预训练完成到真正可用之间的关键环节，涵盖监督微调（SFT）、指令对齐、RLHF/DPO 等技术手段
业界近年积极探索后训练、强化学习与推理时扩展等替代路径，根本原因之一是预训练Scaling Law的边际回报递减
一个参数更少但用更多Token充分训练的模型，虽然训练时看似过度训练，却能在推理阶段显著降低成本，因为推理开销主要由参数量决定
针对特定任务收集独特数据再进行后训练（post-train），往往能以更低成本换来更高准确率
压缩思考长度的常见做法是构造短思考-正确答案配对数据进行SFT，或设计长度惩罚奖励函数进行强化学习训练
「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
RL阶段每一步训练需要同时运行推理（生成rollout）和反向传播（更新权重），因此算力需求远高于普通微调
后训练阶段使用因果语言建模的SFT（监督微调），数据形态为应用了聊天模板的用户任务、可用工具集及来自环境的工具响应payload
后训练指标公开涉及权衡：透明度有助于建立技术信誉，但训练配方和数据构成是厂商核心竞争壁垒，过度公开可能削弱自身优势
还有 8 条时间轴事件
全部知识事实 (20)
「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
80%已验证RL阶段每一步训练需要同时运行推理（生成rollout）和反向传播（更新权重），因此算力需求远高于普通微调
75%待验证后训练阶段使用几万对到几十万对'用户请求+标准回答'的配对数据来训练模型理解人类指令意图
80%部分验证从预训练检查点到可商用产品需经历监督式指令微调（SFT）和基于人类反馈的强化学习（RLHF）两个后训练阶段
65%待验证一个典型的后训练流水线是：预训练 → 监督微调（SFT）→ 偏好优化（RLHF / DPO / GRPO）
60%待验证AI的训练过程分为三个阶段：预训练、后训练和对齐
55%待验证Web 原生模型的后训练目标包括解析 DOM 结构、定位可交互元素、判断下一步点击或输入的位置、以及在页面状态异常时回退重试。
50%待验证后训练是大语言模型从预训练完成到真正可用之间的关键环节，涵盖监督微调（SFT）、指令对齐、RLHF/DPO 等技术手段
50%待验证业界近年积极探索后训练、强化学习与推理时扩展等替代路径，根本原因之一是预训练Scaling Law的边际回报递减
50%待验证一个参数更少但用更多Token充分训练的模型，虽然训练时看似过度训练，却能在推理阶段显著降低成本，因为推理开销主要由参数量决定
50%待验证针对特定任务收集独特数据再进行后训练（post-train），往往能以更低成本换来更高准确率
50%待验证压缩思考长度的常见做法是构造短思考-正确答案配对数据进行SFT，或设计长度惩罚奖励函数进行强化学习训练
50%待验证后训练阶段使用因果语言建模的SFT（监督微调），数据形态为应用了聊天模板的用户任务、可用工具集及来自环境的工具响应payload
50%待验证后训练指标公开涉及权衡：透明度有助于建立技术信誉，但训练配方和数据构成是厂商核心竞争壁垒，过度公开可能削弱自身优势
50%待验证在同一基座上通过后训练实现编程能力大幅提升，为算力受限的团队提供了新的模型迭代思路
50%待验证本次新增项目中强化学习相关工具占据显著比重，体现RL在大模型后训练阶段的重要地位
50%待验证后训练成本仅为从零开始训练大模型成本的1-5%，但能在目标任务上获得20-50%的性能提升
50%待验证数据规模的增长并不等同于有效学习信号的增长，在模型能力提升到一定阈值后简单堆砌样本的收益会急剧下降
50%待验证成熟团队往往采取混合策略：用扩量数据打好基础覆盖，用精挑的困难样本进行针对性补短板
50%待验证少量具有挑战性、配以标准答案和审核的真实世界任务比大量普通样本更有价值
50%