Abliteration
一种大模型权重编辑技术,通过识别并正交投影消除模型残差流中与拒绝行为相关的线性方向向量,使模型失去安全拒答能力,无需重新训练即可完成,由Maxime Labonne等研究者于2024年提出
核心事实
时间轴 (近 90 天)
"Abliterated" 指对模型进行消融式微调,通过定向修改权重来削弱模型内置的拒绝回答倾向。
Abliteration是一种通过方向性向量操作移除模型拒绝行为的技术,Heretic、Omega等后缀通常指经过此类处理或场景强化微调的社区版本
abliteration与越狱在性质上截然不同:越狱通过提示词在推理时绕过护栏,abliteration在权重层面永久性修改模型
Abliteration(消融)方法由 Maxime Labonne 等研究者于2024年提出并推广
Abliteration 的核心原理是在模型残差流中寻找拒绝方向,并将该方向从权重矩阵中正交投影消除
Abliteration 处理无需重新训练,仅做权重编辑即可完成
实验表明经过 abliteration 处理的模型在常规能力测评上几乎不退化,但拒绝有害请求的概率大幅下降
经过abliteration处理的模型在通用能力上几乎不受损失,却失去大部分安全约束
Abliteration技术的原理是识别并抑制模型内部与拒绝行为相关的方向向量,从而让模型不再触发安全性拒答,而非重新训练模型
Abliteration 技术最早由 failspy 等社区研究者在2024年推广开来
还有 4 条时间轴事件
全部知识事实 (15)
Abliteration的核心原理是在模型权重中找到导致拒绝行为的方向并将其移除,无需重新训练
75%待验证"Abliterated" 指对模型进行消融式微调,通过定向修改权重来削弱模型内置的拒绝回答倾向。
50%待验证Abliteration是一种通过方向性向量操作移除模型拒绝行为的技术,Heretic、Omega等后缀通常指经过此类处理或场景强化微调的社区版本
50%待验证abliteration与越狱在性质上截然不同:越狱通过提示词在推理时绕过护栏,abliteration在权重层面永久性修改模型
50%待验证实验表明经过 abliteration 处理的模型在常规能力测评上几乎不退化,但拒绝有害请求的概率大幅下降
50%待验证Abliteration(消融)方法由 Maxime Labonne 等研究者于2024年提出并推广
50%待验证Abliteration 的核心原理是在模型残差流中寻找拒绝方向,并将该方向从权重矩阵中正交投影消除
50%待验证Abliteration 处理无需重新训练,仅做权重编辑即可完成
50%待验证Abliteration技术的原理是识别并抑制模型内部与拒绝行为相关的方向向量,从而让模型不再触发安全性拒答,而非重新训练模型
50%待验证经过abliteration处理的模型在通用能力上几乎不受损失,却失去大部分安全约束
50%待验证Abliteration 技术最早由 failspy 等社区研究者在2024年推广开来
50%待验证模型的拒绝行为集中在残差流(residual stream)中的一个特定方向向量上,可通过 PCA 或差异均值方法提取
50%待验证Abliteration 技术最早由 failspy 等社区研究者在 2024 年推广开来,灵感部分源自 Representation Engineering 领域研究
50%待验证Dolphin 是数据层面的去审查,abliteration 是模型内部表征层面的去审查,两种方法可以叠加使用
50%待验证Abliteration技术通过识别并抑制模型残差流中负责拒绝行为的方向向量,用正交投影从权重矩阵中移除该方向,无需重新训练即可消除拒绝行为
50%