差分隐私如何保障大模型排名推断的可靠性

引言：当排名需要隐私保护

基于人类两两比较的排名在大语言模型评估中日益普遍，但个体偏好记录往往包含敏感信息。如何在保护隐私的同时进行可靠的统计推断，成为亟待解决的问题。近期一篇论文提出了在Bradley-Terry模型下，利用边差分隐私进行分数与排名推断的方法，为这一挑战提供了新思路。

Bradley-Terry模型是处理成对比较数据的经典概率模型，广泛应用于排名和偏好学习。该模型假设每个个体（或项目）有一个潜在的实力参数，当两个个体进行比较时，实力更强的一方获胜的概率遵循逻辑函数形式：(P(i \text{ 击败 } j) = \frac{\theta_i}{\theta_i + \theta_j})，其中 (\theta_i) 和 (\theta_j) 为正的参数。基于该模型，可以通过最大似然估计或贝叶斯方法推断个体实力和排名。在大语言模型评估中，Bradley-Terry模型常用于将成对比较（如人类偏好判断）转化为可解释的分数，但传统推断方法未考虑隐私保护，直接使用个体偏好数据可能泄露敏感信息。

差分隐私是一种严格的隐私保护框架，通过向算法输出添加随机噪声来确保个体数据的影响被掩盖。边差分隐私是差分隐私在图数据或关系数据上的变体，特别适用于成对比较场景。在边差分隐私下，两个相邻数据集被视为仅相差一条边（即一对比较记录），算法输出分布在这两个数据集上应几乎不可区分（由隐私预算 (\epsilon) 控制）。这种定义直接保护了每条比较记录的隐私，因为攻击者无法从输出中推断出任何单条比较是否存在。在排名问题中，边差分隐私能够防止泄露个体之间的具体偏好关系，同时允许整体统计推断。

核心方法：目标扰动与留一分析

论文针对目标扰动估计量，发展了一种新的留一分析（leave-one-out analysis），建立了欧几里得误差和逐项误差的有限样本界。对于足够密集的比较图，这些误差界可以扩展到更小的隐私预算，包括隐私项主导统计项的情形。这一分析为隐私保护下的排名可靠性提供了理论基石。

置信区间与偏差校正

通过均匀渐近展开，作者得到了个体分数和成对分数差的渐近有效置信区间。为改善有限样本性能，他们结合了插件岭偏差校正与高斯-拉普拉斯校准，同时处理正则化偏差和隐私引入的随机性。此外，还建立了同时排名推断的自助法（bootstrap）流程，为个体排名提供渐近有效的置信集，并支持Top-K成员检验。

目标扰动是差分隐私中实现隐私保护估计的常用技术，其核心思想是在统计目标函数（如负对数似然）上添加噪声后再进行优化，从而得到隐私保护的估计量。与直接向数据或输出添加噪声的方法相比，目标扰动能够更好地保持估计量的统计性质，并便于理论分析。在Bradley-Terry模型下，目标扰动涉及在成对比较的对数似然上添加由差分隐私机制生成的噪声，然后求解正则化的优化问题。留一分析则是评估估计量稳定性的理论工具，通过分析移除单个数据点（或单条边）对估计量的影响，可以推导出有限样本误差界和渐近性质。论文将两者结合，建立了隐私保护排名估计的严格理论保证。

高斯-拉普拉斯校准是一种用于差分隐私推断的校准技术，旨在结合高斯机制和拉普拉斯机制的优势，以改善有限样本下的置信区间覆盖性能。在目标扰动估计中，隐私噪声的引入会增加估计量的方差，而插件岭偏差校正可以缓解正则化带来的偏差。高斯-拉普拉斯校准通过调整置信区间的宽度，同时考虑正则化偏差和隐私噪声的随机性，从而得到更准确的区间估计。具体而言，该方法利用高斯近似和拉普拉斯近似来校准分位数，使得在有限样本下置信区间的实际覆盖概率更接近名义水平，这对于小规模比较图或较小隐私预算的情形尤为重要。

隐私预算的巧妙节省

一个关键发现是：当比较概率公开且已知时，所有提出的推断程序无需额外隐私预算。这意味着一部分统计推断可以在不消耗隐私资源的情况下完成，显著提升了方法的实用性。

实证评估：模拟与创意写作排名

作者通过模拟评估了有限样本性能，并将方法应用于大语言模型的创意写作排名。结果表明，所提方法在保护个体偏好的同时，能够提供可靠的排名推断。

意义与展望

这项研究将差分隐私与排名统计推断紧密结合，为隐私敏感场景下的模型评估提供了严谨工具。随着大模型评估日益依赖人类反馈，此类方法有望成为标准实践的一部分。

注：本文基于论文摘要，具体技术细节请参考原文。