浅层对齐反成防御利器：ShallowDefend如何守住多轮对话安全

大模型的安全对齐在单轮对话中表现可靠，但同样的有害请求一旦拆散到多轮对话里，成功率就会明显上升。这种脆弱性并非偶然，而是来自对齐本身的"浅层"特性。ShallowDefend 的研究给出了一个反直觉的解法：既然安全行为集中在输出开头的少数 token 上，那就让防御方抢先占据这段高杠杆区间。

多轮对话为何能突破安全对齐

研究指出，现有安全对齐的机制根源在于"浅"：模型的安全行为高度集中在生成回复的最初几个 token 上。直接提出有害请求时，模型往往能在这几个 token 内触发拒绝；但当同一请求被拆解、分散到多轮对话中逐步推进时，这种早期触发机制就容易被绕过。

更关键的是，现有防御手段继承了这个弱点。它们监督的是回复的表面形式，却没有给模型一个明确的安全决策去学习。模型学到的是"这样说看起来安全"，而不是"我判断这是有害的，因此拒绝"。前者在多轮诱导下很容易失守。

安全对齐（Safety Alignment） 通常指通过监督微调、人类反馈强化学习（RLHF）或直接偏好优化（DPO）等手段，使大语言模型拒绝有害请求、遵循安全规范。其训练信号往往集中在回复的开头部分，因为拒绝或服从的意图在生成最初几个 token 时就已经确定。这种“浅层”特性使模型在单轮直接请求下表现稳健，却难以应对多轮对话中逐步诱导、分散注意力的攻击方式。理解这一点，有助于把握 ShallowDefend 为何选择在输出前端而非后端进行干预。

Assess → Decide → Respond：把决策显式化

ShallowDefend 提出的框架分为三步：评估用户意图、做出显式且可解析的安全决策、再基于该决策生成回复。与以往直接监督回复内容不同，这里的关键是中间那个"决策"步骤——它被表示为一个 token 片段，模型必须先输出一个明确的安全判断，然后才能继续生成。

这个设计的好处在于可训练性。由于决策本身就是一段 token，奖励可以用规则实现：自我验证奖励会把模型提交的标签与对话的已知性质做比对，不需要额外的评判模型，也不需要人工标注。同一套格式还支持在分级决策空间上使用 LLM-as-judge 奖励，并配合安全重定向，让模型在拒绝之外还能给出建设性的替代方向。

训练发生在"载荷轮"（payload turn），也就是有害意图真正显现的那一轮，用强化学习把决策行为固化下来。

LLM-as-judge 是一种利用大语言模型自身作为评估器的方法：给定对话上下文和模型提交的安全决策标签，评判模型依据预设标准判断该决策是否正确，并输出奖励信号。与基于规则的自验证奖励相比，LLM-as-judge 能处理更细粒度的分级决策空间（如“安全”“边缘”“有害”），但计算成本更高。ShallowDefend 在同一 token 格式下兼容两种奖励，使其既能低成本训练二分类决策，也能在需要时扩展到更复杂的安全等级判断。

实验表现：安全领先，效用代价可控

研究覆盖了两个模型家族和十四个基准，横跨安全性、效用与有用性三个维度。在受控对比中，ShallowDefend 取得了最强的多轮安全表现，并在保持安全领先的同时守住了效用，只在有用性上付出了一定代价。

这个权衡结果值得注意。很多安全防御方案要么以大幅牺牲模型能力为代价，要么在多轮场景下防不住。ShallowDefend 的定位是"安全不倒退、效用基本保住、有用性适度让步"，这在实际部署中更容易被接受。

机制验证：决策点是因果控制点

论文没有止步于指标提升，而是用逐 token 的 KL 分析和干预性探针验证了原因。结果显示，训练的效果集中在设定回复轨迹的那段短暂" deliberation"上，而在这里提交的决策构成一个因果控制点——改动它，后续回复的走向随之改变。

这解释了为什么方法有效：攻击者利用的浅层性，恰恰被防御方转化成了干预的抓手。既然短跨度决定了整条回复的轨迹，那么守住这个跨度，就等于守住了整轮对话。

逐 token KL 分析 衡量的是训练前后模型在每个生成位置上的输出分布变化。若 KL 散度在回复开头的若干 token 上显著集中，则说明训练主要改变了模型在该区间的行为倾向，而非均匀地影响整个回复。干预性探针 则是在推理时人为修改某一位置的隐藏状态或 token 输入，观察后续生成是否随之改变，以此判断该位置是否构成因果控制点。两项分析结合，能够区分“相关”与“因果”，为 ShallowDefend 的机制解释提供实证支撑。

对安全对齐实践的启示

这项工作的价值不止于一个防御框架。它提示了一种思路转变：与其在回复层面做更复杂的过滤和改写，不如在模型生成的最前端植入一个可验证、可训练的显式决策。安全对齐的"浅"曾被视为缺陷，但换个角度看，它也是干预成本最低的位置。

当然，有用性的适度下降、以及对决策标签体系的依赖，仍是落地时需要权衡的问题。但至少在方法论上，ShallowDefend 给出了一个自洽的解释：浅层不是要修补的漏洞，而是可以被主动占据的战略要地。