SAE 抑制 PII 失效：仅看 logprob 会误判

稀疏自编码器（SAE）常被用于在特征层面干预大模型，以减少敏感个人信息（PII）泄露。现有评估几乎只看一个指标：干预后目标 token 的 log-probability 是否下降。一篇新研究直接挑战了这个默认做法，指出 logprob 下降可能只是“扰动幅度”带来的假象，而非真正切断了 PII 泄露的因果路径。

核心发现：17 个“成功”案例，仅 1 个经得起多指标检验

研究覆盖 36 个（模型、层、PII 类型）组合，把选定的 SAE 特征干预与“连贯性匹配的随机方向”对照组进行比较。评估不只用 logprob，还加入了 rank-aware 指标。

结果很刺眼：在只看 logprob 时，17 个案例（47%）看起来成功抑制了 PII；但换成多指标框架后，只有 1 个案例（2.8%）通过。也就是说，近一半的“有效干预”在更严格的检验下站不住脚。

这背后指向一个方法论问题：logprob 下降本身无法区分“特征特异性抑制”与“幅度伪影”——只要激活扰动足够大，方向是否对准目标特征并不重要。

rank-aware 指标指的是不仅看目标 token 的绝对概率或 log-probability 是否下降，还考察该 token 在候选词表中的相对排名变化。例如，若目标 PII token 原本排名第 10，干预后降到第 100，即便其 logprob 下降幅度不大，也说明抑制具有方向性；反之，若 logprob 下降但排名未变，则更可能是整体分布被压平所致的幅度伪影。这类指标能部分区分“精准抑制”与“扰动幅度”，是多指标评估框架的关键组成。

两种失败模式：随机方向更好，特征选择崩塌

在未通过多指标检验的案例中，研究识别出两类典型失败。

第一类是随机方向反超选定特征。当随机方向控制的干预效果优于精心挑选的 SAE 特征时，说明 logprob 的下降很可能来自扰动幅度，而非特征本身的语义作用。

第二类是跨 PII 类型的特征选择崩塌。针对某一类 PII 选出的特征，在另一类 PII 上失效，暗示这些特征并未锁定 PII 泄露的通用因果机制。

这两种失败模式共同说明：现有评估流程无法验证干预是否真正靶向了 PII 泄露的因果通路。

9,000 次因果中介验证：相关性选出的候选大多不合格

为了进一步检验，研究还做了规模达 9,000 次运行的因果中介可行性分析。结论是：验证器本身能够可靠地区分候选干预，但通过相关性筛选出的候选很少能通过这一验证。

这相当于给当前“选特征—降 logprob—宣布成功”的流水线敲了警钟。相关性筛选可能选出与 PII 泄露表面相关的特征，却未必是因果链条上的关键节点。

因果中介分析（causal mediation analysis）是一种统计框架，用于判断某个中间变量（此处为 SAE 特征激活）是否在输入（含 PII 的 prompt）与输出（PII 泄露）之间的因果路径上起中介作用。典型做法是干预中介变量并观察结果变化，同时控制混杂因素。若特征只是与泄露相关而非因果中介，则干预它不会稳定阻断泄露。该分析能区分“表面相关特征”与“因果链关键节点”，是作者倡议的评估核心。

研究倡议：从相关性评估转向因果定位

基于上述发现，作者提出 NLP 领域需要一个新的研究任务：基于因果的 PII 抑制，即通过电路级定位（circuit-level localization）与因果中介分析（causal mediation analysis）来确认干预是否作用于真正的泄露路径。

对实践者而言，这意味着两件事。其一，只报告 logprob 下降不足以支撑“SAE 特征有效抑制 PII”的结论，至少应加入方向匹配的随机对照与 rank-aware 指标。其二，特征选择环节需要因果验证的介入，而非仅依赖相关性排序。

这项工作的价值不在于否定 SAE 的潜力，而在于指出：没有因果验证的评估，可能系统性地高估了特征级干预的效果。

电路级定位（circuit-level localization）指在神经网络内部识别出实现某一具体功能（如 PII 泄露）的最小计算子图，包括注意力头、MLP 神经元及其连接。它与仅定位单个特征不同，强调特征之间的因果交互。在 PII 抑制场景中，电路级定位可帮助确认干预是否作用在真实的泄露通路上，而非仅扰动孤立激活。这一概念源自机械可解释性研究，正被引入安全干预评估。