RLHF
RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）是一种将人类偏好判断引入模型训练过程的机器学习方法。其核心流程包括：收集人类对模型输出的偏好标注、训练奖励模型以拟合人类评价，再通过强化学习优化语言模型使其输出更符合人类期望。该方法广泛应用于大语言模型的对齐训练，旨在减少有害输出并提升指令遵循能力。
Core Facts
Timeline (last 90 days)
推动AI数学能力提升的关键技术包括链式思维推理、RLHF以及针对形式化数学证明的训练方法
Christiano在2017年发表论文《Deep Reinforcement Learning from Human Preferences》，被认为是RLHF技术路线的奠基性工作之一
研究显示RLHF标注员间一致率通常仅在60%-75%之间
RLHF面临奖励模型被游戏化（reward hacking）、人类偏好标注不一致、以及训练过程不稳定等挑战，这也是Anthropic提出Constitutional AI作为补充方案的动因之一
Constitutional AI相比传统RLHF大幅减少了对人类标注的依赖,提高了可扩展性
主流的对齐技术路线包括基于人类反馈的强化学习（RLHF）、宪法AI（Constitutional AI）和可扩展监督（Scalable Oversight）
主流对齐手段包括RLHF（基于人类反馈的强化学习）、Constitutional AI（宪法AI）和红队测试（Red Teaming）
高薪工程师被要求将部分工作时间用于为AI系统生成高质量训练数据,包括编写代码、标注推理任务答案和通过RLHF评估AI输出
RLHF的计算成本极高:需要同时运行策略模型、价值模型、奖励模型和参考模型,内存占用是监督学习的数倍
OpenAI在GPT-3到ChatGPT的跨越中依赖RLHF实现了对齐突破
40 more timeline events
All Facts (20)
Anthropic提出了Constitutional AI（宪法AI）方法论，让模型根据预设原则自我批评和修正输出
90%VerifiedRLHF（基于人类反馈的强化学习）是ChatGPT等对话模型背后的关键训练技术
90%VerifiedRLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力
90%VerifiedGPT系列模型基于Transformer架构，通过海量文本预训练和人类反馈强化学习（RLHF）进行对齐优化
85%VerifiedAI编码工具基于大型语言模型（LLM），通过在海量代码库上预训练学习代码的统计模式和语义结构，并使用Transformer架构理解上下文和生成连贯代码。
80%Verified传统RLHF需要先训练奖励模型，再用PPO等强化学习算法优化，流程复杂且不稳定
80%VerifiedSFT-奖励模型-RLHF三阶段对齐训练范式最早由OpenAI在InstructGPT论文中系统提出
80%Verified现代大语言模型通常经历预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个训练阶段
80%Verified大语言模型在RLHF训练阶段，因人类标注员倾向于给更详细、更礼貌的回答打高分，导致模型学会了过度冗长的表达模式
80%Verified目前主流的大语言模型包括GPT-4、Claude、DeepSeek、通义千问等
80%Verified当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）
80%Verified大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%VerifiedPPO（近端策略优化）是OpenAI在2017年提出的一种强化学习算法，成为RLHF的主流选择
80%Verified当前主流AI模型的内容安全控制主要依赖RLHF（基于人类反馈的强化学习）技术
75%VerifiedRLHF依赖于人类评估者判断AI输出质量，当AI能力超越人类理解范围时该方法会失效
75%VerifiedOpenAI、Anthropic、DeepMind等机构均已将可解释性作为研究方向
75%VerifiedRLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体
75%Verified语言模型对齐技术包括基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO），旨在使模型行为符合人类意图与价值观
75%VerifiedOpenAI和Anthropic都采用了RLHF和代码执行反馈来优化模型的编程表现
70%Verified当代AI编程助手建立在Transformer架构之上，通过注意力机制理解代码的长程依赖关系
65%