待验证50% 置信观点精确时间
如果模型在RLHF过程中因拒绝回答而受到惩罚，它会学会尽力给出答案而非承认超出能力范围并移交人工
1
来源数
50%
置信度
长期有效
时效性
2026/9/28
首次发现
来源
涉及实体
相关事实
已验证部分系统通过RLHF（基于人类反馈的强化学习）在训练阶段将安全偏好嵌入模型权重，使模型本身倾向于拒绝生成特定内容，而非依赖外部过滤77% 相似待验证在RLHF中，如果偏好数据质量低下或存在系统性偏差，奖励模型会学到错误信号，导致模型行为偏离预期76% 相似待验证传统LLM经过RLHF人类偏好对齐后倾向于给出措辞坚定的答案，会导致概率估计失真76% 相似待验证RLHF训练导致模型产生'sycophancy'（谄媚性），即模型宁可编造也不愿承认无知75% 相似已验证受过RLHF训练的模型在用户明确表示不同意时往往会不成比例地改变立场迎合用户，即便原始答案正确，这是奉承偏差（Sycophancy）75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/956918API
curl https://kongchang.com/api/v1/knowledge/claims/956918MCP
get_claim(id=956918)