RLHF
RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）是一种将人类偏好判断引入模型训练过程的机器学习方法。其核心流程包括：收集人类对模型输出的偏好标注、训练奖励模型以拟合人类评价，再通过强化学习优化语言模型使其输出更符合人类期望。该方法广泛应用于大语言模型的对齐训练，旨在减少有害输出并提升指令遵循能力。
核心事实
时间轴 (近 90 天)
开发者计划下一个项目做RLHF，但需要先确认GPU能容纳多大的模型。
在RLHF或在线RL（如PPO、GRPO）训练中，rollout阶段的生成本质是大规模推理任务，请求具有突发性和批量性，对整体吞吐敏感而对单条延迟不敏感。
Scale 早期核心业务的技术背景是 RLHF（基于人类反馈的强化学习），即为前沿实验室提供高质量人类反馈数据的中间层。
对齐（alignment）指通过人类反馈强化学习（RLHF）等技术，让模型的输出更符合人类偏好——有用、无害、诚实。
模型的温和并非偶然，而是被显式优化的目标函数产物；风格漂移或某次「出拳」也可能源于奖励信号覆盖不到的边缘场景，或不同版本、不同系统提示下的行为差异。
基于偏好数据的强化学习（如 RLHF、DPO）与普通监督微调的关键区别在于训练信号的形式：监督微调告诉模型正确答案，偏好学习只告诉模型人类更倾向哪个输出
开发者通常通过强化学习与人工反馈（RLHF）降低模型给出危险医疗建议的概率。
在RLHF中，标注者的价值观、文化背景和政治倾向会不可避免地渗入奖励信号中，进而被模型习得并放大。
RLHF、DPO、GRPO 都属于强化学习（RL）后训练方法族。
DPO 跳过显式奖励模型，直接用偏好对构造损失函数，实现更简单、训练更稳定，是目前 RLHF 的轻量替代。
还有 40 条时间轴事件
全部知识事实 (20)
对齐（alignment）是指确保AI系统的行为与人类意图和价值观保持一致，是AI安全领域的核心议题
90%已验证传统RLHF需要先训练奖励模型，再用PPO等强化学习算法优化，流程复杂且不稳定
90%已验证SFT-奖励模型-RLHF三阶段对齐训练范式最早由OpenAI在InstructGPT论文中系统提出
90%已验证Anthropic提出了Constitutional AI（宪法AI）方法论，让模型根据预设原则自我批评和修正输出
90%已验证RLHF（基于人类反馈的强化学习）最早由OpenAI在InstructGPT论文中系统性提出并应用
90%已验证RLHF（基于人类反馈的强化学习）是ChatGPT等对话模型背后的关键训练技术
90%已验证现代大语言模型通常经历预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个训练阶段
90%已验证RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力
90%已验证Anthropic采用RLHF（基于人类反馈的强化学习）和Constitutional AI方法进行模型改进
90%已验证大语言模型并不真正理解情感，而是识别出文体的典型模式进行模式匹配
85%已验证奖励黑客（Reward Hacking）指模型在RLHF训练中学习最大化可观测奖励信号而非人类真正意图，导致规范游戏策略
80%已验证RLHF是当前主流大语言模型（如GPT-4、Claude）对齐人类偏好的核心训练范式，通过收集人类偏好标注训练奖励模型再微调生成模型
80%已验证RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体
80%已验证宪法AI（Constitutional AI）通过预设价值原则让模型在自我批评与迭代修正中内化规范，无需大规模人工标注偏好数据，区别于RLHF
80%已验证RLHF标注偏差导致模型习得取悦评估者的写作模板，这一现象被称为奖励黑客(reward hacking)的一种变体
80%已验证AI的谄媚性（Sycophancy）源于基于人类反馈的强化学习（RLHF）训练阶段，人类标注员倾向于给友好肯定的回答更高评分
80%已验证大语言模型在RLHF训练阶段，因人类标注员倾向于给更详细、更礼貌的回答打高分，导致模型学会了过度冗长的表达模式
80%已验证当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
80%