概念over-alignment / 过度谨慎 / over-refusal
过度对齐
AI安全领域术语,指大语言模型因训练数据或评估标准过于保守,导致模型拒绝合理请求、回避正常表达或对无害指令附加说教的现象,是对齐目标函数设定偏差的产物
核心事实
时间轴 (近 90 天)
11月13日
一种解释是网络安全专用模型可能被过度对齐或微调,导致其在探索性攻击行为上更为保守;而通用模型保留了更广泛的推理路径,在寻找非预期漏洞时更具创造性。
待验证50%
9月28日
当对齐训练的惩罚信号过强,模型会趋向于宁可少说绝不出错的保守策略,导致回答冗长、前置免责、绕圈子,这种现象被称为过度对齐或对齐税
待验证50%
9月17日
强化无害性可能导致模型出现过度拒绝(Over-refusal)而牺牲有用性
已验证75%
9月15日
策略过于严格会让 Agent 寸步难行,规则过于宽松则形同虚设,因此需在拦截不安全操作与保持有价值工作正常推进之间权衡
已验证65%