虚拟点差分隐私：可观测批次大小下的隐私放大新机制

差分隐私随机梯度下降（DP-SGD）的隐私保障通常依赖于随机采样带来的隐私放大效应。但这一效应有一个常被忽视的前提：批次大小不能被泄露。现实中，服务器或通信流量观察者往往能看到批次大小，而内存和计算限制又要求对过大的批次进行截断——截断本身会显著增加隐私损失。一篇最新研究提出用随机数量的“虚拟点”同时解决这两个问题，并在分布式场景下给出了可高效核算的隐私分析。

问题：可观测批次大小侵蚀隐私保证

在DP-SGD的典型部署中，服务器以批次为单位处理数据。Poisson采样和随机分配（random allocation）等主流方案都能提供可证明的隐私放大，但它们共同产生一个后果：批次大小是可变的。这些方案的隐私保证建立在一个假设上——批次大小不被公开。

这个假设在实践中很脆弱。分布式设置下，执行聚合的服务器或任何观察通信流量的参与方，都可能获知每个批次的实际大小。即便在中心化场景，内存和计算约束通常也要求单批次不超过某个上限s，超限时必须截断。已有研究表明，这种截断会导致隐私损失显著增加。

换言之，隐私放大的收益可能被可观测的批次大小和截断操作抵消掉一部分。研究要回答的问题是：能否在批次大小公开可见、且存在截断限制的条件下，仍然保住隐私放大的好处？

隐私放大（Privacy Amplification） 是DP-SGD隐私保障的核心机制之一。其基本思想是：如果每次迭代只随机抽取一小部分数据参与计算，那么即使单个样本在单次迭代中泄露信息，由于它未被选中的概率很大，攻击者很难确定该样本是否曾参与训练，从而在整体上降低隐私损失。常见的隐私放大来源包括Poisson子采样（每个样本以固定概率独立入选）和随机分配（将样本随机分配到不同批次）。然而，这种放大效应的数学推导通常假设攻击者只能观察到算法输出（如梯度更新），而无法观察到采样过程的中间量——批次大小正是其中之一。一旦批次大小可被观测，攻击者就能获得关于哪些样本被选中的额外信息，从而削弱甚至破坏原有的隐私放大保证。

机制：用虚拟点“掩盖”真实批次大小

论文提出的思路直接：在真实数据点之外，向批次中注入随机数量的虚拟点（dummy points），使外部观察者看到的批次大小不再直接对应真实参与样本数。真实批次的规模信息因此被随机化，批次大小释放本身也被“私有化”。

这一机制的关键优势在于实现简单。在分布式场景中，各参与方只需按约定生成虚拟点并随真实数据一同参与聚合，不需要额外的安全信道或复杂的协议改造。

分析覆盖了两种采样方案：Poisson采样和随机分配。作者为二者提供了统一的一般性分析框架，并特别强调该分析支持高效且相对紧致的隐私核算——这对实际部署中需要反复计算隐私预算的场景很重要。

虚拟点（Dummy Points） 是差分隐私中常用的技术手段，指向数据集中注入的、不携带真实信息的合成记录。在DP-SGD中，虚拟点参与前向和反向计算，但其梯度贡献会被丢弃或抵消，因此不影响模型更新。虚拟点的作用类似于“填充物”：通过随机改变批次中虚拟点的数量，可以使观察到的批次总大小与真实样本数之间失去确定性对应关系，从而将批次大小的释放过程“私有化”。从隐私分析角度看，虚拟点的注入等价于对真实批次进行了一次随机化处理，这为计数释放引入了额外的随机性，可被建模为一种子采样机制，进而带来隐私放大。虚拟点的代价是额外的计算开销，因为每个虚拟点都需要完整的前向和反向传播，因此其数量需要精细控制。

隐私核算：子采样带来的额外放大

机制还有一个不那么直观的效果：它对计数释放（count releases）本身形成了子采样式的隐私放大。由于虚拟点是随机注入的，观察到的计数与真实计数之间的关系带有随机性，这层随机性为计数发布提供了额外的隐私保护。

这种放大的直接结果是，所需的虚拟点期望数量可以做到渐近地小于“直接用非负噪声私有化批次大小（敏感度为1）”所需的量。也就是说，保护批次大小这件事，借助子采样效应变得比朴素方案更“便宜”，不会因为大量虚拟点而拖垮训练效率。

从工程视角看，这一点决定了机制是否可用：虚拟点参与前向和反向计算，数量直接对应额外算力开销。期望数量越小，机制越接近零成本。

实证：截断场景下优于直接核算

论文针对带截断批次的Poisson采样做了实证评估，与Ganesh（2025）近期提出的截断直接核算方法进行对比。结果显示，该机制在隐私与效率的权衡上表现更好。

补充一点，对比的基准是专门针对截断问题的最新方法，而非朴素的隐私会计，因此这一优势更具参考价值。不过，论文的实证范围集中在Poisson采样加截断的组合，随机分配方案的实证表现尚需更多数据支撑。

Ganesh（2025）的截断直接核算方法 是针对DP-SGD中批次截断问题提出的一种隐私会计方案。在标准DP-SGD中，当批次大小超过预设上限s时，必须进行截断（即随机丢弃部分样本），以确保计算可行性。Ganesh的方法直接对截断后的批次进行隐私损失核算，考虑了截断操作带来的额外隐私泄漏。然而，该方法没有处理批次大小本身被公开观测的问题，其隐私保证仍建立在批次大小不可见的假设上。本文提出的虚拟点机制则同时解决了批次大小泄露和截断损失两个问题，因此在带截断的Poisson采样场景下，与Ganesh方法相比，能在相同隐私预算下实现更小的虚拟点开销或更优的隐私-效率权衡。这一对比基准具有针对性，凸显了虚拟点机制在现实威胁模型下的优势。

实践意义与边界

对构建DP-SGD系统的团队来说，这项工作指出了一个容易被忽略的威胁模型：批次大小本身是隐私攻击面。当系统日志、网络包大小或聚合服务的内部状态暴露批次规模时，原本计算的隐私预算可能偏乐观。虚拟点机制提供了一种低侵入的修补方式，尤其适合难以改造通信协议的分布式训练环境。

边界同样清晰：机制解决的是批次大小泄露与截断带来的隐私损失，不改变DP-SGD本身的噪声校准逻辑；虚拟点数量虽经子采样放大而降低，但仍随隐私参数和批次上限变化，部署时需要在隐私预算与计算开销之间做具体权衡。此外，论文的分析以Poisson采样和随机分配为对象，其他采样方案的适配性不在讨论范围内。

对于关注隐私放大工程落地的研究者，这项工作的价值在于把“批次大小可见”从一个被默认忽略的假设，变成了可以被显式处理的设计变量。