PPO

RLHF（基于人类反馈的强化学习）是ChatGPT等对话模型背后的关键训练技术

RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力

传统RLHF需要先训练奖励模型，再用PPO等强化学习算法优化，流程复杂且不稳定

SFT-奖励模型-RLHF三阶段对齐训练范式最早由OpenAI在InstructGPT论文中系统提出

当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）

PPO（近端策略优化）是OpenAI在2017年提出的一种强化学习算法，成为RLHF的主流选择

RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体

PPO的核心创新在于通过裁剪目标函数来限制策略更新的幅度，避免因单次更新过大导致训练崩溃

PPO（Proximal Policy Optimization）是OpenAI于2017年提出的策略梯度算法，通过裁剪目标函数来限制每次策略更新的幅度

PPO（近端策略优化）通过限制每次参数更新的幅度，在学习效率与训练稳定性之间取得平衡

Stable-Baselines3 基于 PyTorch 重构，提供工业级的 PPO、DQN、SAC 等算法实现

PPO（近端策略优化）通过裁剪目标函数限制每次策略更新的步长，成为连续控制任务的事实标准

PPO（近端策略优化）以其训练稳定性成为连续控制任务的事实标准，SAC（软演员-评论家）通过最大熵框架在样本效率上具有优势

RLHF是当前主流大语言模型（如GPT-4、Claude）对齐人类偏好的核心训练范式，通过收集人类偏好标注训练奖励模型再微调生成模型

PPO 算法需要计算旧策略概率与新策略概率的比值（importance ratio），两套引擎的分歧会污染该比值

GRPO（Group Relative Policy Optimization）通过组内相对奖励来估计优势函数，省去了传统PPO中独立的价值网络（Critic），从而降低了显存开销与实现复杂度

无模型强化学习方法（如Q-Learning、PPO）直接从与环境的交互中学习策略或价值函数，不显式建模环境的动态规律

该项目让PPO算法获得对机器人控制器的完全控制权，而非直接输出关节角度

智能体通过方向性控制器输入以及身体姿态调整（如俯仰角和高度）来完成爬坡任务

PPO等on-policy算法的训练通常需要1000万-5000万步，对于3-5架无人机规模PyBullet的CPU串行仿真速度已足够支撑