[控场AI]
概念over-alignment / 过度谨慎 / over-refusal

过度对齐

AI安全领域术语,指大语言模型因训练数据或评估标准过于保守,导致模型拒绝合理请求、回避正常表达或对无害指令附加说教的现象,是对齐目标函数设定偏差的产物

核心事实

时间轴 (近 90 天)

11月13日

一种解释是网络安全专用模型可能被过度对齐或微调,导致其在探索性攻击行为上更为保守;而通用模型保留了更广泛的推理路径,在寻找非预期漏洞时更具创造性。

待验证50%
9月28日

当对齐训练的惩罚信号过强,模型会趋向于宁可少说绝不出错的保守策略,导致回答冗长、前置免责、绕圈子,这种现象被称为过度对齐或对齐税

待验证50%
9月17日

强化无害性可能导致模型出现过度拒绝(Over-refusal)而牺牲有用性

已验证75%
9月15日

策略过于严格会让 Agent 寸步难行,规则过于宽松则形同虚设,因此需在拦截不安全操作与保持有价值工作正常推进之间权衡

已验证65%

全部知识事实 (4)

来源文章