对齐税
AI安全研究界提出的概念，描述为使模型更安全、更符合人类价值观而付出的性能或实用性代价，是AI对齐过程中系统性权衡的体现
核心事实
时间轴 (近 90 天)
当对齐训练的惩罚信号过强，模型会趋向于宁可少说绝不出错的保守策略，导致回答冗长、前置免责、绕圈子，这种现象被称为过度对齐或对齐税
Meta在开源Llama系列模型时发现，过度的安全对齐会显著降低模型在正常任务上的有用性，形成对齐税的两难困境
经过对齐训练的模型在创意写作任务中倾向于输出更"安全"但也更平庸的内容，避免争议性比喻、冲突或道德灰色地带
对齐税（alignment tax）是指为让模型更安全、更符合特定价值观而需要牺牲的能力或中立性成本，可能表现为编码/数学推理准确率下降、过度回避开放性话题、在争议性话题上输出千篇一律的免责模板
「对齐税」（alignment tax）概念由AI安全研究者Paul Christiano等人提出，用于描述安全措施对模型实际效用的折损
对齐税指模型被过度训练拒绝有害请求时，其拒绝边界可能泛化到正常无害场景，导致过度谨慎
商业闭源模型的安全护栏开销可能占据实际算力支出的25%到35%
2024 年的多项基准测试表明，经过严格安全对齐的模型在代码生成任务上的拒绝率比基座模型高出 15-30%，在创意写作任务上的自我审查率高达 40%
对齐税（Alignment Tax）指厂商在后训练阶段通过 RLHF 和安全微调降低有害输出概率时，往往导致模型在安全边界附近过度泛化，把无害请求也误判为危险请求并拒绝
对齐机制有时会过度保守导致模型能力下降，业界称为对齐税（Alignment Tax）
全部知识事实 (12)
对齐机制有时会过度保守导致模型能力下降，业界称为对齐税（Alignment Tax）
75%已验证自回归模型在推理链早期产生错误中间结论会导致后续步骤累积错误，形成错误积累效应
75%已验证安全性提升以牺牲实用性为代价的现象被称为'对齐税'（Alignment Tax）
65%待验证当对齐训练的惩罚信号过强，模型会趋向于宁可少说绝不出错的保守策略，导致回答冗长、前置免责、绕圈子，这种现象被称为过度对齐或对齐税
50%待验证Meta在开源Llama系列模型时发现，过度的安全对齐会显著降低模型在正常任务上的有用性，形成对齐税的两难困境
50%待验证经过对齐训练的模型在创意写作任务中倾向于输出更"安全"但也更平庸的内容，避免争议性比喻、冲突或道德灰色地带
50%待验证对齐税（alignment tax）是指为让模型更安全、更符合特定价值观而需要牺牲的能力或中立性成本，可能表现为编码/数学推理准确率下降、过度回避开放性话题、在争议性话题上输出千篇一律的免责模板
50%待验证「对齐税」（alignment tax）概念由AI安全研究者Paul Christiano等人提出，用于描述安全措施对模型实际效用的折损
50%待验证对齐税指模型被过度训练拒绝有害请求时，其拒绝边界可能泛化到正常无害场景，导致过度谨慎
50%待验证商业闭源模型的安全护栏开销可能占据实际算力支出的25%到35%
50%待验证2024 年的多项基准测试表明，经过严格安全对齐的模型在代码生成任务上的拒绝率比基座模型高出 15-30%，在创意写作任务上的自我审查率高达 40%
50%待验证对齐税（Alignment Tax）指厂商在后训练阶段通过 RLHF 和安全微调降低有害输出概率时，往往导致模型在安全边界附近过度泛化，把无害请求也误判为危险请求并拒绝
50%