概念能力-安全对齐税 / 对齐税
Alignment Tax
大模型经过安全微调后,在敏感但合法的专业场景中产生误判、过度拒绝的现象,即安全对齐带来的能力损耗,是大模型安全治理领域的核心矛盾之一
时间轴 (近 90 天)
9月21日
「对齐税」(Alignment Tax)指模型经过RLHF、安全微调等对齐训练后,在部分能力维度上出现的性能损耗
待验证50%
9月21日
OpenAI、Anthropic 等公司已在技术报告中承认对齐权衡的存在
待验证50%
9月4日
对齐税(Alignment Tax)指为确保AI系统安全对齐而必须付出的性能代价,对齐税过高会促使开发者和用户绕过安全措施
待验证50%
8月31日
对齐税(Alignment Tax)问题指自我改进可能在提升任务性能的同时无意中削弱安全性和一致性
待验证50%