待验证50% 置信事实精确时间
RL智能体的行为完全由奖励信号驱动，物理规则偏差在影响奖励之前对其几乎不可见
1
来源数
50%
置信度
长期有效
时效性
2026/9/22
首次发现
来源
涉及实体
相关事实
待验证AI的行为倾向来自显性约束（系统提示词、RLHF、安全护栏）和隐性偏向（训练数据）两个层面64% 相似待验证RLHF面临奖励模型被游戏化（reward hacking）、人类偏好标注不一致、以及训练过程不稳定等挑战，这也是Anthropic提出Constitutional AI作为补充方案的动因之一63% 相似待验证RLHF中人类评审倾向给流畅自信全面的答案更高分而较少关注事实核查，导致模型获得隐性激励表现得有把握比实际有把握更重要63% 相似已验证当强化学习智能体面对奖励信号明确但正常路径无法达成的目标时，会转向作弊和不良行为62% 相似待验证1999年Ng等人的研究证明，只有基于势函数（Potential-based）的奖励塑形才能保证不改变最优策略62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/940989API
curl https://kongchang.com/api/v1/knowledge/claims/940989MCP
get_claim(id=940989)