过程监督
过程监督是相对于结果监督的一种训练范式，在中间步骤提供评估信号，为模型提供逐步的优化反馈，在强化学习与LLM对齐领域广泛应用，尤其适合长链推理和多步任务训练。
时间轴 (近 90 天)
2023年OpenAI的《Let's Verify Step by Step》研究发现过程监督显著优于结果监督，其过程监督模型在数学测试代表性子集上解出78%，并公开了10万条步级人工标注PRM800K。
临床指南将循证建议编码为条件决策流，可作为训练推理模型的过程监督信号。
GUIDER 的“多流采样 + 答案门控”思路可借鉴于多步工具调用、复杂规划等需要过程监督的领域。
将执行轨迹当作训练数据，本质上是将监督信号从'结果监督'扩展到'过程监督'。
业界提出可扩展监督和过程监督等方法来从训练机制层面解决行为异常问题
OpenAI在2023年论文《Let's Verify Step by Step》中表明过程监督(PRM)在数学推理任务中显著优于结果监督(ORM)
OpenAI 在2023年的研究《Let's Verify Step by Step》中证明，对推理过程每一步进行奖励评估（过程监督）比仅对最终结果评估能更有效提升数学推理能力
执行轨迹记录模型或人类解决问题的完整中间步骤，使训练系统能识别推理链条中具体哪一步出错，从而提供更精细的学习信号
全部知识事实 (8)
OpenAI在2023年论文《Let's Verify Step by Step》中表明过程监督(PRM)在数学推理任务中显著优于结果监督(ORM)
70%待验证2023年OpenAI的《Let's Verify Step by Step》研究发现过程监督显著优于结果监督，其过程监督模型在数学测试代表性子集上解出78%，并公开了10万条步级人工标注PRM800K。
50%待验证临床指南将循证建议编码为条件决策流，可作为训练推理模型的过程监督信号。
50%待验证GUIDER 的“多流采样 + 答案门控”思路可借鉴于多步工具调用、复杂规划等需要过程监督的领域。
50%待验证将执行轨迹当作训练数据，本质上是将监督信号从'结果监督'扩展到'过程监督'。
50%待验证业界提出可扩展监督和过程监督等方法来从训练机制层面解决行为异常问题
50%待验证OpenAI 在2023年的研究《Let's Verify Step by Step》中证明，对推理过程每一步进行奖励评估（过程监督）比仅对最终结果评估能更有效提升数学推理能力
50%待验证执行轨迹记录模型或人类解决问题的完整中间步骤，使训练系统能识别推理链条中具体哪一步出错，从而提供更精细的学习信号
50%