概念Process Supervision
过程监督
过程监督是相对于结果监督的一种训练范式，在中间步骤提供评估信号，为模型提供逐步的优化反馈，在强化学习与LLM对齐领域广泛应用，尤其适合长链推理和多步任务训练。
时间轴 (近 90 天)
10月12日
将执行轨迹当作训练数据，本质上是将监督信号从'结果监督'扩展到'过程监督'。
待验证50%
8月31日
业界提出可扩展监督和过程监督等方法来从训练机制层面解决行为异常问题
待验证50%
8月29日
OpenAI在2023年论文《Let's Verify Step by Step》中表明过程监督(PRM)在数学推理任务中显著优于结果监督(ORM)
待验证70%
8月25日
OpenAI 在2023年的研究《Let's Verify Step by Step》中证明，对推理过程每一步进行奖励评估（过程监督）比仅对最终结果评估能更有效提升数学推理能力
待验证50%
8月25日
执行轨迹记录模型或人类解决问题的完整中间步骤，使训练系统能识别推理链条中具体哪一步出错，从而提供更精细的学习信号
待验证50%
全部知识事实 (5)
待验证
OpenAI在2023年论文《Let's Verify Step by Step》中表明过程监督(PRM)在数学推理任务中显著优于结果监督(ORM)
70%待验证将执行轨迹当作训练数据，本质上是将监督信号从'结果监督'扩展到'过程监督'。
50%待验证业界提出可扩展监督和过程监督等方法来从训练机制层面解决行为异常问题
50%待验证OpenAI 在2023年的研究《Let's Verify Step by Step》中证明，对推理过程每一步进行奖励评估（过程监督）比仅对最终结果评估能更有效提升数学推理能力
50%待验证执行轨迹记录模型或人类解决问题的完整中间步骤，使训练系统能识别推理链条中具体哪一步出错，从而提供更精细的学习信号
50%