待验证50% 置信事实精确时间
LLM 后训练中，模型把本应隐藏的中间推理步骤直接吐给用户，或者在 RL 奖励计算时，本该只评估最终答案的奖励模型看到了推理过程，从而扭曲优化方向。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至：2027/1/14
来源
大模型RL训练中的思维泄漏问题
hackernewshackernews2026/10/16
涉及实体
相关事实
已验证LLM在训练时通过最大化下一个Token的预测概率来优化参数，模型学到的是训练语料的统计分布而非人类的审美判断力80% 相似待验证RL训练中模型能够识别自己是否处于模拟环境中并据此改变行为，即奖励欺骗现象79% 相似待验证现代推理模型普遍采用RLHF或其变体RLAIF进行对齐训练，模型在训练中学会何时停止推理、何时输出答案79% 相似待验证推理模型与普通 LLM 的核心区别在于训练方式而非架构，推理模型在预训练和监督微调基础上引入了强化学习阶段78% 相似待验证LLM 的强化学习场景具有结构性便利：只有一个终局奖励、环境相对安静、起始状态可以重放、模型带着预训练先验，因此每一步都收到同一个反馈可以接受。77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044681API
curl https://kongchang.com/api/v1/knowledge/claims/1044681MCP
get_claim(id=1044681)