破解大模型"过度拒绝"：语义路由校准SRC技术解析

当安全对齐走向极端：LLM的"过度拒绝"难题

经过安全对齐训练的大语言模型（LLM）常常表现出一种令人头疼的行为——过度拒绝（Over-Refusal）。它们会错误地拒绝那些本身无害、只是表面上与安全话题沾边的指令。比如询问"如何杀死一个Linux进程"，模型可能因为关键词"杀死"而触发拒绝机制，把一个正常的技术问题当作危险请求处理。

这种现象直接损害了模型的可用性。用户希望AI既安全又好用，但过度谨慎的安全护栏反而让模型在正常任务上频频"翻车"。一篇发表在arXiv上的最新论文（arXiv:2609.25049）针对这一问题提出了新的机制性解释和解决方案。

过去的解释为何不够：从静态到动态

以往的研究大多将过度拒绝归因于静态表征重叠——即无害提示和有害提示在模型的内部表征空间中过于接近，导致模型难以区分。这种解释虽然直观，却忽略了背后的动态机制。

论文作者认为，仅从静态视角看待问题，无法真正触及过度拒绝的根源。模型在推理过程中究竟发生了什么，才导致它对一个明明无害的"Hard-Safe"提示（即难以判断、边界模糊的安全相关提示）做出错误拒绝？这需要深入到Transformer注意力机制的内部去观察。

静态表征重叠的概念源于对模型内部嵌入空间的分析。在向量空间中，语义相近的概念会聚集在一起，而安全对齐训练的本质是让模型学会识别"有害区域"并拒绝落入其中的输入。问题在于，一些无害提示（如涉及"杀死进程"的技术指令）在语义嵌入上恰好靠近真正的有害提示，形成所谓的表征重叠。传统的改进思路由此出发，试图通过更好的训练数据或对比学习来将两者在空间中"推开"。然而这种静态视角本质上是在分析推理结束时的结果快照，而非推理过程本身。Transformer模型在逐token生成时，信息会经过多层注意力机制动态流动和重组，最终输出是一系列复杂计算交互的产物，而非单纯由初始嵌入距离决定。因此，只盯着表征空间的距离，相当于只看比赛最终比分，而忽视了整场比赛的过程。

核心发现：超敏感安全头的"误触发"

论文的关键洞察是发现了一小撮超敏感安全头（Hypersensitive Safety Heads）。这是Transformer注意力机制中的一个稀疏子集，它们在处理Hard-Safe提示时会"误触发"。

具体而言，这些注意力头表现出异常的注意力纠缠（attention entanglement）：它们强行将本无害的目标实体与拒绝语义绑定在一起。举例来说，当用户提问包含某个中性名词时，这些安全头会把这个名词和"应该拒绝"的信号强行关联。

这种绑定会引发一场严重的高熵路由冲突（high-entropy routing conflict）。冲突的后果是，真正需要被关注的目标实体反而被剥夺了必要的注意力，模型的推理路径被扭曲，最终导致错误的拒绝输出。

理解这一发现需要对Transformer注意力机制有基本认识。在Transformer架构中，每一层包含多个注意力头（attention heads），每个头可以独立地学习关注输入序列中不同位置、不同类型的关系。研究表明，不同注意力头往往承担不同的语义功能：有些负责捕捉句法结构，有些关注实体指代，有些则与特定领域知识相关。"安全头"是指那些在安全对齐训练中逐渐专门化、负责识别有害内容信号的注意力头。正常情况下，它们应该只在遇到真正有害的内容时激活。高熵路由冲突则描述了注意力分布的一种病理状态：熵是衡量概率分布不确定性的指标，高熵意味着注意力被分散地分配给多个位置，而非集中在关键的语义实体上。当安全头异常激活并"劫持"了部分注意力权重，模型的信息路由就变得混乱，关键语义信号无法有效传递到后续层，最终输出层就可能生成拒绝性回复。

SRC框架：轻量、免训练的推理端解法

针对这一机制，论文提出了**语义路由校准（Semantic Routing Calibration，SRC）**框架。它有几个突出的工程优势：

免训练、轻量化

SRC是一个**免训练（training-free）**的推理框架，无需重新训练或微调模型即可部署。这大大降低了应用门槛，也避免了重新训练可能带来的其他性能退化。

精确定位与动态抑制

SRC的第一步是在推理阶段精确定位那些超敏感安全头，并对其进行动态抑制。通过压制这些误触发的注意力头，模型得以摆脱异常的注意力纠缠。

双分支logits融合作为安全正则器

单纯抑制安全头可能带来安全性下降的风险。为此，SRC引入了**双分支logits融合（dual-branch logits fusion）**机制，在后续解码过程中充当"安全正则器"，在恢复正常推理的同时尽可能保留模型固有的安全能力。这体现了一种在"可用性"与"安全性"之间寻求平衡的设计思路。

Logits融合是推理阶段干预大语言模型输出分布的一类常见技术。在自回归语言模型生成每个token时，模型最后一层会输出词表上的原始得分（logits），经过softmax归一化后得到概率分布，再据此采样或取最大值。双分支融合的思路是：同时维护两条推理分支——一条对超敏感安全头实施了抑制（恢复正常语义路由），另一条保持模型的原始安全激活状态。在解码时，将两条分支的logits按一定权重加权合并，使最终输出既受益于抑制干预带来的路由修正，又保留了原始安全训练留下的拒绝倾向作为"底线"。这种设计思路类似于对比解码（Contrastive Decoding）或推测解码中的多路径思想，本质上是利用两个信号的互补性来实现更精细的输出控制，而无需对模型权重做任何永久性修改。

实验效果与意义

论文的大量实验表明，SRC能够有效缓解过度拒绝问题，同时在最大可行范围内保持模型固有的安全性能。换句话说，它试图打破"要么过度谨慎、要么放松安全"的二选一困境。

从更宏观的视角看，这项工作的价值不仅在于提出了一个具体方案，更在于它把过度拒绝问题的分析从静态表征推进到动态注意力机制。这种机制可解释性（mechanistic interpretability）的研究路径，正在成为理解和改进大模型行为的重要方向。当我们能精确定位到"哪几个注意力头在捣乱"时，干预就可以做得更精准、代价更小。

小结

过度拒绝是安全对齐副作用的典型代表。SRC通过识别超敏感安全头、动态抑制误触发、并辅以双分支融合正则化，提供了一条免训练的轻量级解决路径。对于关注LLM安全与可用性平衡的研究者和工程师而言，这一注意力层面的分析视角值得深入关注。

注：本文基于arXiv预印本论文（arXiv:2609.25049v1）整理，相关结论以论文最终版本为准。