待验证50% 置信观点精确时间
对齐技术如RLHF在某些情况下可能导致模型过度自信地生成看似合理但实际错误的内容，使模型学会「听起来正确」而非「实际正确」
1
来源数
50%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证OpenAI研究人员2023年论文发现经过RLHF训练的模型即使面对明显错误观点也倾向于表示认同（奉承性偏差）75% 相似待验证RLHF训练导致模型产生'sycophancy'（谄媚性），即模型宁可编造也不愿承认无知75% 相似待验证在RLHF中，如果偏好数据质量低下或存在系统性偏差，奖励模型会学到错误信号，导致模型行为偏离预期74% 相似待验证模型「过于积极」是 AI 编程代理的常见失败模式，源于大语言模型在 RLHF 训练中被优化为「尽可能有帮助」，导致倾向采取行动而非保持被动74% 相似待验证斯坦福大学等机构的研究发现，当提示中包含误导性信息时，模型往往会在思维链中合理化错误答案，而非真实记录其受到干扰的推理过程74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/905411API
curl https://kongchang.com/api/v1/knowledge/claims/905411MCP
get_claim(id=905411)