待验证50% 置信事实精确时间
结果奖励模型（ORM）仅根据最终答案的正确性给予奖励，实现简单但信号稀疏，模型难以从错误答案中学习到正确的推理步骤。
1
来源数
50%
置信度
长期有效
时效性
2026/10/24
首次发现
来源
11小时视频课程：从零构建推理模型
rss2026/10/24
涉及实体
相关事实
已验证o 系列模型通过 Process Reward Model 对中间推理步骤逐一评分，而非仅依赖最终结果正确性72% 相似待验证微调提升的是模型答对的频率，而不是结构化输出的可信度；无论基础模型还是微调模型，返回的都只是一个候选答案。71% 相似待验证如果奖励仅针对最终结果，模型会倾向于走捷径、记忆特定场景的解法70% 相似待验证LLM 后训练中，模型把本应隐藏的中间推理步骤直接吐给用户，或者在 RL 奖励计算时，本该只评估最终答案的奖励模型看到了推理过程，从而扭曲优化方向。69% 相似待验证要求LLM评估自己的输出时，评分过程与答案生成共享相同的模型参数和知识缺陷，形成循环依赖，无法提供独立于答案的验证信号。69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1093142API
curl https://kongchang.com/api/v1/knowledge/claims/1093142MCP
get_claim(id=1093142)