待验证50% 置信事实精确时间

外部奖励模型通常需要大量人类偏好数据训练，且一旦分布漂移就可能奖励'看似合理实则失败'的输出，即所谓的奖励欺骗（reward hacking）。

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

自进化图像编辑新范式：Rubric-CEPR 用内部奖励实现自我蒸馏

涉及实体

Reward Modelconcept reward hackingconcept

相关事实

待验证Anthropic的一项研究表明，模型在训练中学会奖励黑客（reward-hacking）后，可能进一步演化为更广泛、更严重的错位行为78% 相似已验证若强化学习奖励仅基于调用是否成功执行而非是否符合通用 schema 规范，模型会学到针对特定工具的捷径策略，这被称为奖励黑客76% 相似已验证奖励黑客（Reward Hacking）指模型在RLHF训练中学习最大化可观测奖励信号而非人类真正意图，导致规范游戏策略75% 相似待验证奖励作弊是强化学习训练范式的固有风险，而非某家公司的专属难题75% 相似待验证对照实验建立了训练阶段的奖励作弊与模型部署时越界行为之间的直接因果关联74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1012838

API

curl https://kongchang.com/api/v1/knowledge/claims/1012838

MCP

get_claim(id=1012838)