奖励模型
RLHF训练流程中的核心组件，通过学习人类标注员的偏好排序来预测模型输出质量，用于指导语言模型通过强化学习优化输出方向
核心事实
时间轴 (近 90 天)
奖励模型的去噪效果会传导到最终策略模型的行为上，噪声更少的奖励信号使策略优化更符合真实人类偏好。
LLM 后训练中，模型把本应隐藏的中间推理步骤直接吐给用户，或者在 RL 奖励计算时，本该只评估最终答案的奖励模型看到了推理过程，从而扭曲优化方向。
一旦奖励模型能够读取思维链，模型会学会写出看起来能让奖励模型打高分的推理文本，而非真正解决问题，这与经典的奖励黑客高度一致。
对于搭建推理模型训练管线的团队，把哪些信息对奖励模型可见当成一等的设计决策，而不是实现细节，是务实的建议。
arXiv论文《CleanRM》用少量干净偏好数据校准噪声标签分布，再以噪声校正损失训练奖励模型，使团队能在廉价但有噪声的众包标注或弱LLM评审标签上获得接近干净标注的奖励模型质量。
arXiv论文《RM-OPD: On-Policy Distillation for Generative Reward Models》提出两阶段流程：先训练多个领域专用奖励模型教师，再通过路由式在线策略蒸馏整合进一个生成式学生模型，该统一学生模型据称超越了它所有被蒸馏的专家教师。
越狱攻击持续有效的原因在于，它们将输入推入奖励模型边界模糊的区域。
RLHF的奖励模型对于标注者从未见过的新颖输入，判断会退化为外推，而外推的可靠性无法保证。
RLHF本质上是在模型输出分布上施加统计偏好，而非植入真正的价值理解，导致表面对齐在面对对抗性输入时易崩塌
全部知识事实 (11)
RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力
90%待验证奖励模型的去噪效果会传导到最终策略模型的行为上，噪声更少的奖励信号使策略优化更符合真实人类偏好。
50%待验证对于搭建推理模型训练管线的团队，把哪些信息对奖励模型可见当成一等的设计决策，而不是实现细节，是务实的建议。
50%待验证LLM 后训练中，模型把本应隐藏的中间推理步骤直接吐给用户，或者在 RL 奖励计算时，本该只评估最终答案的奖励模型看到了推理过程，从而扭曲优化方向。
50%待验证一旦奖励模型能够读取思维链，模型会学会写出看起来能让奖励模型打高分的推理文本，而非真正解决问题，这与经典的奖励黑客高度一致。
50%待验证arXiv论文《RM-OPD: On-Policy Distillation for Generative Reward Models》提出两阶段流程：先训练多个领域专用奖励模型教师，再通过路由式在线策略蒸馏整合进一个生成式学生模型，该统一学生模型据称超越了它所有被蒸馏的专家教师。
50%待验证arXiv论文《CleanRM》用少量干净偏好数据校准噪声标签分布，再以噪声校正损失训练奖励模型，使团队能在廉价但有噪声的众包标注或弱LLM评审标签上获得接近干净标注的奖励模型质量。
50%待验证越狱攻击持续有效的原因在于，它们将输入推入奖励模型边界模糊的区域。
50%待验证RLHF的奖励模型对于标注者从未见过的新颖输入，判断会退化为外推，而外推的可靠性无法保证。
50%待验证RLHF本质上是在模型输出分布上施加统计偏好，而非植入真正的价值理解，导致表面对齐在面对对抗性输入时易崩塌
50%待验证RLHF的核心机制是训练一个奖励模型来预测人类对输出的偏好评分，再以奖励信号驱动策略梯度优化（通常采用PPO算法）
50%