概念Reward Model
奖励模型
RLHF训练流程中的核心组件，通过学习人类标注员的偏好排序来预测模型输出质量，用于指导语言模型通过强化学习优化输出方向
核心事实
时间轴 (近 90 天)
10月12日
RLHF的奖励模型对于标注者从未见过的新颖输入，判断会退化为外推，而外推的可靠性无法保证。
待验证50%
10月12日
越狱攻击持续有效的原因在于，它们将输入推入奖励模型边界模糊的区域。
待验证50%
8月6日
RLHF本质上是在模型输出分布上施加统计偏好，而非植入真正的价值理解，导致表面对齐在面对对抗性输入时易崩塌
待验证50%
7月18日
RLHF的核心机制是训练一个奖励模型来预测人类对输出的偏好评分，再以奖励信号驱动策略梯度优化（通常采用PPO算法）
待验证50%