待验证50% 置信观点精确时间
一旦奖励模型能够读取思维链，模型会学会写出看起来能让奖励模型打高分的推理文本，而非真正解决问题，这与经典的奖励黑客高度一致。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
大模型RL训练中的思维泄漏问题
hackernewshackernews2026/10/16
涉及实体
相关事实
待验证如果奖励仅针对最终结果，模型会倾向于走捷径、记忆特定场景的解法76% 相似待验证投机性奖励黑客被视为 Goodhart 定律在推理时间（inference time）的体现——模型在推理时主动推断并过拟合一个想象中的奖励信号75% 相似待验证过程奖励模型（Process Reward Model, PRM）将奖励信号逐步作用于每个推理环节，可缓解传统 RLHF 仅在最终答案处给出奖励所导致的奖励黑客（reward hacking）隐患。72% 相似待验证推理模型在生成最终答案前会先产生大量内部思维链（Chain-of-Thought）token，这些 token 不直接暴露给用户72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044677API
curl https://kongchang.com/api/v1/knowledge/claims/1044677MCP
get_claim(id=1044677)