待验证50% 置信事实精确时间

过程奖励模型（Process Reward Model, PRM）将奖励信号逐步作用于每个推理环节，可缓解传统 RLHF 仅在最终答案处给出奖励所导致的奖励黑客（reward hacking）隐患。

1

来源数

50%

置信度

长期有效

时效性

2026/10/14

首次发现

来源

AI推理突破：DeepSeek-R1与OpenAI的逻辑跃迁

涉及实体

Process Reward Modelconcept RLHFconcept

相关事实

已验证过程奖励模型（PRM）转向对推理过程而非最终答案进行评估，在数学推理领域已展现显著优势77% 相似待验证RLHF是InstructGPT和ChatGPT能力跃升的核心技术，但存在奖励模型被过度优化（reward hacking）的内在风险73% 相似已验证RLHF的核心机制是训练一个奖励模型来预测人类对输出的偏好评分，再以奖励信号驱动策略梯度优化（通常采用PPO算法）73% 相似待验证该实验的奖励由 PRM（过程奖励模型）给出，而该 PRM 是 4B 策略模型的冻结基座版本，整个过程跑在七张 GPU 上73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1028458

API

curl https://kongchang.com/api/v1/knowledge/claims/1028458

MCP

get_claim(id=1028458)