[控场AI]
概念Over-refusal / 过度对齐

过度拒绝

AI模型因安全微调过于保守,对合理用户请求产生误判并拒绝执行的现象,是当前主流大语言模型普遍面临的工程难题

核心事实

时间轴 (近 90 天)

11月7日

解决过度拒绝问题需要区分“复制受版权保护的作品”与“对用户已合法拥有的内容进行个人用途的转写、解释或辅助理解”,前者需要严格限制,后者不应被一刀切。

待验证50%
11月7日

研究表明,过度拒绝不仅降低任务完成率,还会使用户对系统的信任下降,并在多次碰壁后放弃使用或转向竞争产品。

待验证50%
10月19日

用安全拒答样本微调,模型学到的是拒绝作为一种倾向,可能导致对合法问题也过度拒答。

已验证75%
10月16日

当模型'意识到'自己可能被评判时会倾向于保守,这种保守对无害用户不公平,如何在保证安全的同时避免过度拒绝是多语言AI产品必须面对的平衡问题。

待验证50%
9月23日

经过安全对齐训练的大语言模型常常表现出过度拒绝(Over-Refusal)行为,错误地拒绝本身无害但表面与安全话题沾边的指令

待验证50%
9月17日

强化无害性可能导致模型出现过度拒绝(Over-refusal)而牺牲有用性

已验证75%
9月7日

过度的安全限制会在安全研究、取证分析等专业场景中限制商业模型的实用性

待验证60%
8月31日

对齐税指模型被过度训练拒绝有害请求时,其拒绝边界可能泛化到正常无害场景,导致过度谨慎

待验证50%

全部知识事实 (11)

已验证

过度的安全微调会导致模型过度拒绝(over-refusal),损害实用性

80%
已验证

用安全拒答样本微调,模型学到的是拒绝作为一种倾向,可能导致对合法问题也过度拒答。

75%
已验证

强化无害性可能导致模型出现过度拒绝(Over-refusal)而牺牲有用性

75%
已验证

AI模型的过度拒绝(over-refusal)是安全对齐研究中的已知问题,RLHF和Constitutional AI训练会使模型将无害请求错误归类为需要拒绝

65%
待验证

过度的安全限制会在安全研究、取证分析等专业场景中限制商业模型的实用性

60%
待验证

解决过度拒绝问题需要区分“复制受版权保护的作品”与“对用户已合法拥有的内容进行个人用途的转写、解释或辅助理解”,前者需要严格限制,后者不应被一刀切。

50%
待验证

研究表明,过度拒绝不仅降低任务完成率,还会使用户对系统的信任下降,并在多次碰壁后放弃使用或转向竞争产品。

50%
待验证

当模型'意识到'自己可能被评判时会倾向于保守,这种保守对无害用户不公平,如何在保证安全的同时避免过度拒绝是多语言AI产品必须面对的平衡问题。

50%
待验证

经过安全对齐训练的大语言模型常常表现出过度拒绝(Over-Refusal)行为,错误地拒绝本身无害但表面与安全话题沾边的指令

50%
待验证

对齐税指模型被过度训练拒绝有害请求时,其拒绝边界可能泛化到正常无害场景,导致过度谨慎

50%
待验证

过度对齐(Overalignment)现象指模型在边界情形下倾向过度拒绝合理请求,是Constitutional AI安全优先策略的潜在代价

50%

来源文章