PPO
PPO（Proximal Policy Optimization，近端策略优化）是一种基于策略梯度的强化学习算法，通过引入截断的概率比率约束，限制每次参数更新的幅度，从而在训练稳定性与样本效率之间取得平衡。PPO实现简单、超参数较少，被广泛应用于机器人控制、游戏智能体训练以及大语言模型的人类反馈强化学习（RLHF）等场景。
核心事实
时间轴 (近 90 天)
该项目PPO策略训练完成后被直接部署到Unity Sentis做前向推理，运行时不再依赖任何Python进程，开发者给出的延迟数据是sub-0.1ms。
Reddit上一位开发者分享了名为"Wolfpack Protocol"的项目，用连续动作空间的PPO强化学习训练四架无人机的自主战斗蜂群，推理完全跑在Unity Sentis上，抛弃NavMesh和预烘焙路径。
RLHF的第三阶段通常使用近端策略优化（PPO）来更新语言模型策略。
PPO是一种信赖域方法，通过裁剪重要性采样比率来限制每次策略更新的幅度。
标准的 @1 目标（如常见的 RLHF/PPO 单样本优化）只关心单次采样的期望奖励，容易把概率质量集中到少数高置信解上，从而压缩探索空间。
在MiniGrid的DoorKey-8x8环境中，带重置动作的PPO智能体在80个种子中仅成功解谜2次，而无重置动作时成功率为71/80。
在MiniGrid的KeyCorridorS3R1环境中，带重置动作的PPO智能体0/20成功，无重置动作时20/20成功。
GPT-6 Astra在没有任何环境反馈的情况下，能够从零开始编写出小型游戏网络，并且这些网络的表现超越了用PPO训练了1亿步的网络。
训练超参数：每次更新跑一个PPO epoch，Adam学习率3e-4，折扣因子γ=0.9997（约7分钟视野，与OpenAI Five一致），胜利奖励±10。
算法采用PPO加LSTM策略，参数量约150万到165万；动作空间包括移动/停止、普攻、QWER、闪现和屏障，并有指针头用于选择目标，非法动作会被掩码。
还有 40 条时间轴事件
全部知识事实 (20)
GRPO 对同一问题采样多个响应并在组内计算相对奖励来估计基线，省去了单独训练价值网络的开销
90%已验证传统RLHF需要先训练奖励模型，再用PPO等强化学习算法优化，流程复杂且不稳定
90%已验证SFT-奖励模型-RLHF三阶段对齐训练范式最早由OpenAI在InstructGPT论文中系统提出
90%已验证RLHF（基于人类反馈的强化学习）是ChatGPT等对话模型背后的关键训练技术
90%已验证RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力
90%已验证GRPO（Group Relative Policy Optimization）由DeepSeek提出，无需单独训练价值网络，已成为当前智能体RL训练的主流算法选择
90%已验证PPO的核心创新在于通过裁剪目标函数来限制策略更新的幅度，避免因单次更新过大导致训练崩溃
80%已验证PPO（Proximal Policy Optimization）是OpenAI于2017年提出的策略梯度算法，通过裁剪目标函数来限制每次策略更新的幅度
80%已验证RLHF是当前主流大语言模型（如GPT-4、Claude）对齐人类偏好的核心训练范式，通过收集人类偏好标注训练奖励模型再微调生成模型
80%已验证RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体
80%已验证PPO（近端策略优化）以其训练稳定性成为连续控制任务的事实标准，SAC（软演员-评论家）通过最大熵框架在样本效率上具有优势
80%已验证当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）
80%已验证PPO（近端策略优化）是OpenAI在2017年提出的一种强化学习算法，成为RLHF的主流选择
80%已验证GRPO 的核心特点是对同一个输入生成一组候选输出，用这组输出的相对优劣计算优势值，不需要像 PPO 那样训练独立的 critic/value 网络。
75%已验证RL阶段每一步训练需要同时运行推理（生成rollout）和反向传播（更新权重），因此算力需求远高于普通微调
75%已验证GRPO（Group Relative Policy Optimization）通过组内相对奖励来估计优势函数，省去了传统PPO中独立的价值网络（Critic），从而降低了显存开销与实现复杂度
75%已验证GRPO（Group Relative Policy Optimization）是PPO的一种改进变体，无需训练额外的价值网络，而是通过在同一问题上采样一组回答以组内相对表现作为基准来计算奖励信号
75%已验证监督微调（SFT）使用'提示-回答'示例对模型进行训练，让模型学会以对话形式响应，从而使输出更连贯
75%已验证Proximal Policy Optimization（PPO）是机器人强化学习的主力策略梯度算法工具
75%已验证GRPO算法通过组内相对奖励机制直接比较同一问题的一组答案优劣，省去了PPO所需的独立评论家模型
75%