InstructGPT
OpenAI于2022年发表的论文，系统化提出了RLHF（人类反馈强化学习）方法，奠定了ChatGPT等产品的技术基础
核心事实
时间轴 (近 90 天)
TypeSafe AI的CEO Diogo Almeida曾任职于Google Brain和OpenAI，是InstructGPT论文的核心作者之一，并参与过RLHF、ChatGPT和GPT-4的相关工作
OpenAI训练InstructGPT时采用的奖励模型训练范式本质上是Bradley–Terry框架的一种实例化
PPO 是早期 RLHF 流程（如 InstructGPT）的核心组件
一个典型的后训练流水线是：预训练 → 监督微调（SFT）→ 偏好优化（RLHF / DPO / GRPO）
RLHF由InstructGPT论文于2022年正式系统化，基本流程分三步：收集人类偏好数据训练奖励模型、用PPO等强化学习算法优化语言模型、持续迭代
2018年BERT与GPT的出现开启了预训练+微调范式
InstructGPT、ChatGPT及Claude等主流对话模型均以RLHF为核心对齐技术
全部知识事实 (11)
SFT-奖励模型-RLHF三阶段对齐训练范式最早由OpenAI在InstructGPT论文中系统提出
90%已验证RLHF（基于人类反馈的强化学习）最早由OpenAI在InstructGPT论文中系统性提出并应用
90%已验证RLHF（基于人类反馈的强化学习）是ChatGPT等对话模型背后的关键训练技术
90%已验证InstructGPT与ChatGPT是RLHF流程的代表性产物
80%已验证RLHF由InstructGPT论文于2022年正式系统化，基本流程分三步：收集人类偏好数据训练奖励模型、用PPO等强化学习算法优化语言模型、持续迭代
70%待验证一个典型的后训练流水线是：预训练 → 监督微调（SFT）→ 偏好优化（RLHF / DPO / GRPO）
60%待验证2018年BERT与GPT的出现开启了预训练+微调范式
60%待验证TypeSafe AI的CEO Diogo Almeida曾任职于Google Brain和OpenAI，是InstructGPT论文的核心作者之一，并参与过RLHF、ChatGPT和GPT-4的相关工作
50%待验证OpenAI训练InstructGPT时采用的奖励模型训练范式本质上是Bradley–Terry框架的一种实例化
50%待验证PPO 是早期 RLHF 流程（如 InstructGPT）的核心组件
50%待验证InstructGPT、ChatGPT及Claude等主流对话模型均以RLHF为核心对齐技术
50%