已验证65% 置信事实时间未知
OpenAI在训练o1模型时采用了过程奖励模型（Process Reward Model, PRM），对推理的中间步骤进行细粒度评估
3
来源数
65%
置信度
中期 (~90 天)
时效性
2026/7/2
首次发现
有效期至：2026/9/30
来源
强化学习驱动AI推理进化：从模仿者到真正的思考者
bilibili小也的AI日记
相关事实
已验证OpenAI在2023年发表论文"Let's Verify Step by Step"系统性地证明了过程奖励模型（PRM）在数学推理任务中的优越性77% 相似已验证OpenAI的o1系列模型将思维链内化为模型训练的核心机制，通过强化学习让模型学会自动展开详细的思考过程75% 相似已验证过程奖励模型（PRM）对推理链条中的每一个中间步骤进行打分，区别于结果奖励模型（ORM）仅评估最终答案的正确性73% 相似待验证RL-CAI阶段以AI自身的偏好判断作为奖励信号训练奖励模型，再通过PPO算法优化策略模型72% 相似待验证当前大模型评测流程往往把完整题目和条件提供给模型，并针对特定题库进行定向训练，导致高分容易获得70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/61062API
curl https://kongchang.com/api/v1/knowledge/claims/61062MCP
get_claim(id=61062)