差分隐私的新视角：用信息论量化模型重构攻击下限

一个被忽视的问题：DP-SGD到底防住了什么？

差分隐私随机梯度下降（DP-SGD）已经成为训练隐私敏感模型的事实标准。它提供的 $(\varepsilon,\delta)$ 保证广为人知，但一个更直接的问题却长期缺乏答案：当攻击者拿到一个用 DP-SGD 训练的模型后，究竟能从中恢复出多少原始数据？

$(\varepsilon,\delta)$ 本质上是对隐私损失的概率约束，但它并不能直接告诉我们——比如说——攻击者能否重建出一张训练图像的轮廓，或者能否恢复出图像中真正敏感的那部分特征。这篇研究正是针对这一空白，提出了一套可以在训练之前就计算出来的"重构失真下限"（distortion bound）。

极强的威胁模型假设

这项工作的价值首先体现在它所采用的威胁模型极为苛刻。推导出的失真下限适用于一个几乎全知的攻击者：

• 能够观测训练过程中整个参数轨迹（parameter trajectory），而不仅仅是最终模型；
• 知道除目标记录之外的所有其他训练样本；
• 掌握训练数据所来自的总体分布（population distribution）。

在如此强悍的假设下仍能给出有意义的重构误差下限，意味着这个界限是真正"不可避免"的——无论攻击算法多么强大，期望重构误差都不可能低于这个值。这与大多数经验性攻击评估形成鲜明对比：后者只能说明某个具体攻击的效果，而无法给出理论保证。

核心思路：把信息泄露和数据不确定性拆开

该框架的巧妙之处在于用信息论把重构难度分解为两个正交的来源：

训练泄露的信息

第一部分是训练过程本身泄露的关于某条记录的信息，通过**条件互信息（conditional mutual information）**来度量。对 DP-SGD 而言，这一泄露界限只依赖于两个超参数：采样率（sampling rate）和噪声乘子（noise multiplier）。这意味着在训练开始前，仅凭配置就能估算泄露上限。

条件互信息（Conditional Mutual Information，CMI）衡量的是：在已知其他所有训练样本的条件下，参数轨迹还额外泄露了多少关于目标记录的信息。DP-SGD 通过在每步梯度上添加高斯噪声来限制这一泄露。直觉上，噪声乘子越大、采样率越低，每一步训练对单条记录的"感知"就越模糊，累积泄露也越少。关键的是，这一泄露量可以用隐私记账（privacy accounting）技术——如矩式记账（moments accountant）或 Rényi 差分隐私——从超参数直接估算，无需运行任何实际攻击实验。这使得泄露上限在模型训练前就完全可计算，构成整个框架"事前保证"特性的基础。

数据本身的不确定性

第二部分是数据分布中原本就存在的不确定性，通过**源熵（source entropy）**衡量。即使没有任何模型泄露，攻击者也要面对数据本身的随机性。源熵可以通过样本进行有限样本置信度（finite-sample confidence）下的下界估计。

**率失真理论（rate-distortion theory）**则把这两部分组合起来，推导出任意重构攻击的期望误差下限。这种分解不仅在数学上优雅，也在直觉上说清了一个事实：重构的难度既来自隐私机制，也来自数据分布本身的"模糊性"。

率失真理论（Rate-Distortion Theory）是信息论的核心分支，由Shannon于1959年建立，研究的是：在允许一定重构误差（失真）的前提下，描述一个信源所需的最小信息量（码率）。其基本定论——率失真函数R(D)——给出了码率与失真之间的根本权衡极限，任何编码或重构方案都无法突破这一边界。在本文的框架中，"攻击者能从参数轨迹中提取的关于目标记录的信息量"扮演了"码率"的角色，而重构误差对应"失真"。当可用信息被条件互信息上界限制后，率失真函数便给出了对应的最小可达失真下限——即无论攻击者算法多么精巧，都无法将期望误差压缩到该下限以下。这一推导路径将差分隐私的概率保证与可解释的感知误差量直接打通。

让分析者自己定义"隐私敏感"

一个颇具实用价值的设计是：误差的度量表示（representation）由分析者自行选择。换句话说，你可以根据应用场景，让界限专门针对那些真正隐私敏感的重构方面。

研究者在两个空间中实例化了这一框架：

• 像素空间（pixel space）：传统的逐像素误差度量；
• LPIPS 特征空间：基于感知相似度的度量。

据作者所述，这是首个直接用 LPIPS 度量重构失真的下限。LPIPS 更贴近人类对图像相似度的感知，因此在"攻击者能否恢复出语义上可识别的内容"这一问题上，比纯像素误差更有意义。

此外，为了让界限在高维图像上仍然有效，研究采用了正交分块构造（orthogonal block construction），避免了高维场景下界限退化为平凡结果的问题。

LPIPS（Learned Perceptual Image Patch Similarity）是一种基于深度神经网络中间层特征来度量图像相似度的感知指标，由Zhang等人于2018年提出。与传统的像素级L2误差或PSNR不同，LPIPS的数值与人类视觉判断的相似性更高——两张像素值相近但结构不同的图像，LPIPS可能给出较大距离；而像素差异较大但语义相近的图像，LPIPS距离则可能很小。在隐私攻击评估的语境下，这一性质尤为重要：攻击者真正关心的往往是能否恢复出语义上可识别的面孔或病变区域，而非像素是否逐点精确。用LPIPS空间建立下限，意味着即便是在"感知层面"发动最强攻击，其期望误差也有理论下界，这比纯像素指标更贴近现实隐私威胁的定义。

实验：界限在推荐隐私预算下依然非平凡

在多个图像数据集上，这些下限在业界启发式推荐的隐私预算范围内（以及更宽的范围）都确立了非平凡的、不可避免的期望重构误差。这是一个重要结论：它说明在常用的隐私配置下，确实存在理论上无法突破的重构保护。

研究还将理论界限与多种强重构攻击做了对比，并分析了界限与实际攻击之间剩余"松弛（slack）"的主要来源。这种对比既验证了界限的实用性，也为未来收紧界限指明了方向。

为什么这项工作值得关注

长期以来，隐私保护领域存在一道鸿沟：$(\varepsilon,\delta)$ 这样的抽象参数难以转化为"我的数据到底安全吗"这类具体问题的答案。这项研究提供了一座桥梁——它把隐私预算翻译成可解释、可度量、面向具体应用的重构误差保证。

对于需要在医疗影像、人脸等高敏感场景部署模型的团队来说，一个能在训练前计算、面向最坏情况攻击者、并且可以针对特定敏感特征定制的误差下限，具有直接的工程指导意义。它让隐私评估从"事后攻击测试"转向"事前可验证保证"。