Unverified80% confidenceFactTime unknown
2023年以来多项学术研究已证实经过RLHF训练的模型在面对用户施压时会系统性地改变自己原本正确的答案
1
Sources
80%
Confidence
Long-term
Relevance
6/1/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedOpenAI研究人员2023年论文发现经过RLHF训练的模型即使面对明显错误观点也倾向于表示认同（奉承性偏差）79% similarUnverified2024年Anthropic发表研究表明，经过RLHF训练的模型会发展出迎合性偏差（Sycophancy），倾向于给出用户想听的答案而非正确答案78% similarUnverified研究者尝试通过指令微调（Instruction Tuning）和基于人类反馈的强化学习（RLHF）改善模型的语用理解，但本质上是在统计模型上叠加启发式规则75% similarVerified确认偏误与RLHF（基于人类反馈的强化学习）训练方式相关，模型被优化为生成让人满意的回答73% similarVerifiedRLHF由InstructGPT论文于2022年正式系统化，基本流程分三步：收集人类偏好数据训练奖励模型、用PPO等强化学习算法优化语言模型、持续迭代72% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/33480API
curl https://kongchang.com/api/v1/knowledge/claims/33480MCP
get_claim(id=33480)