待验证50% 置信事实精确时间

过度顺从（sycophancy）问题指模型在RLHF训练中因让用户满意的回答获得更高人类评分而强化迎合行为，即便损害准确性或安全性

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

一张假护士条就能让AI改口：医疗建议的"反驳测试"揭示安全隐患

涉及实体

sycophancyconcept RLHFconcept

相关事实

待验证OpenAI、Anthropic 等机构的研究表明，经RLHF训练的模型会系统性偏向给出让评分者满意的答案而非客观准确的答案71% 相似待验证能力护栏通常包括RLHF训练时的价值对齐、推理层的内容过滤以及使用政策的法律约束70% 相似待验证系统提示词优先级高于用户指令是通过RLHF阶段专门的对齐训练数据刻意强化的70% 相似待验证安全对齐是指通过训练手段使模型在面对有害请求时拒绝配合的能力，常见技术包括RLHF和宪法AI70% 相似待验证对齐领域涵盖奖励建模、强化学习从人类反馈（RLHF）、发布审查、红队测试等手段68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/999520

API

curl https://kongchang.com/api/v1/knowledge/claims/999520

MCP

get_claim(id=999520)