共变量偏移下的反向保形预测：新方法提升估计精度

反向保形预测（Backward Conformal Prediction, BCP）是一种固定预测集大小、转而估计误覆盖率（miscoverage）的方法。然而，传统BCP假设校准数据与测试数据是可交换的，这在实际应用中往往不成立。近期一项研究将BCP扩展到共变量偏移（covariate shift）场景，通过重要性加权保持其理论保证，并提出了基于排序分数向量的密度比估计新方法。

为什么BCP在共变量偏移下会失效？

BCP的核心优势在于：它不固定覆盖率，而是固定预测集大小，然后估计该集合的误覆盖率。这一特性使其在需要严格控制预测集规模的场景中极具吸引力。但问题在于，标准BCP假设校准集和测试集来自同一分布，即数据是可交换的。

当存在共变量偏移时——即输入分布P(X)发生变化，但条件分布P(Y|X)保持不变——这种可交换性被打破。直接应用BCP会导致误覆盖率估计出现偏差。研究中指出，解决思路是引入重要性加权，用密度比w(x)=P_test(x)/P_cal(x)重新加权校准样本。当密度比已知时，BCP的误覆盖率保证可以保持。

共变量偏移与可交换性：共变量偏移是分布偏移的一种常见形式，指输入特征的边缘分布发生变化，但给定输入后标签的条件分布保持不变。例如，在医疗诊断中，不同医院的患者特征分布可能不同，但同一种疾病在相同特征下的表现是一致的。可交换性则是指样本的顺序不影响其联合分布，即校准集与测试集中的样本在统计上是对称的。保形预测的核心理论保证依赖于可交换性，因为它确保了非一致性分数在交换排列下是均匀分布的。当共变量偏移发生时，校准集与测试集不再来自同一分布，可交换性被打破，导致基于校准集分位数构建的预测集在测试集上的覆盖率出现系统性偏差。因此，必须通过重要性加权等机制来校正分布差异，恢复理论保证。

关键发现：更好的域分类器未必带来更优估计

这项研究揭示了一个反直觉的现象：BCP的紧致误覆盖率报告仅依赖于分配给被遗漏校准样本的相对权重。这意味着，一个“更好”的域分类器（能够更准确地区分校准和测试分布）有时反而会产生更差的误覆盖率估计。

这一发现挑战了直觉——通常我们认为更精确的密度比估计总是有益的。但在BCP框架下，真正重要的是那些未被预测集覆盖的校准样本的权重分布。如果域分类器过度关注某些区域，可能会扭曲这些关键样本的相对权重，导致误覆盖率报告失准。

密度比估计与域分类器：密度比 w(x)=P_test(x)/P_cal(x) 是重要性加权的核心。在实际中，密度比通常未知，需要通过域分类器来估计：训练一个分类器区分解准样本和测试样本，然后利用其输出概率推导密度比。域分类器的质量通常用区分能力（如AUC）衡量，直观上越强越好。然而，在反向保形预测中，误覆盖率报告仅取决于那些未被预测集覆盖的校准样本的相对权重。如果域分类器在估计密度比时过度拟合或过于关注某些区域，可能会扭曲这些关键样本的权重分布，导致误覆盖率估计偏差。因此，域分类器的整体区分能力与最终估计精度之间并非单调关系，有时一个“较弱”但更稳定的分类器反而能提供更可靠的权重。

创新方法：在排序分数向量上估计密度比

基于BCP仅依赖于非一致性分数（nonconformity scores）这一观察，研究者提出了一个巧妙的方法：不在高维输入空间估计密度比，而是在排序后的分数向量上进行估计。

这一方法的核心洞察是：BCP的误覆盖率计算只涉及校准样本的分数及其是否被覆盖，而不需要完整的输入信息。因此，直接在分数空间操作可以避免高维密度比估计的困难。研究者证明，在可解释的条件下，这种方法渐近地恢复了与输入空间估计相同的误覆盖率报告，并刻画了不满足条件时的偏差。

非一致性分数与排序分数向量：非一致性分数是保形预测中衡量模型预测与真实标签差异的指标，例如回归任务中常用绝对误差，分类任务中常用1减去真实类别的预测概率。反向保形预测通过固定预测集大小，关注分数超过某个阈值的校准样本比例来估计误覆盖率。排序分数向量则是将所有校准样本的非一致性分数按升序排列后得到的向量。研究者提出在排序分数向量上估计密度比，而非原始高维输入空间。这是因为BCP的误覆盖率计算仅依赖于校准样本的分数及其是否被覆盖，而不需要完整的输入特征。通过将密度比估计问题从输入空间转移到一维分数空间，不仅避免了高维估计的维数灾难，还简化了计算并提高了稳定性。理论分析表明，在满足一定可解释条件下，这种分数空间加权能渐近恢复与输入空间加权相同的误覆盖率报告，并明确了条件不满足时的偏差大小。

实验结果：分数加权优于嵌入加权

研究团队通过模拟实验和基准分布偏移数据集验证了所提方法。结果表明：

• 基于分数的加权方案一致地产生比基于嵌入的加权更准确的误覆盖率估计；
• 所提方法整体上改善了BCP在共变量偏移下的误覆盖率估计性能。

这意味着，在实际应用中，当面临分布偏移时，优先选择分数空间的密度比估计可能更为稳健。对于从事不确定性量化、风险控制或需要可靠预测集的研究者和工程师而言，这一发现提供了直接的实践指导。

对保形预测实践的意义

这项工作的贡献在于两个层面。理论上，它将BCP的保证扩展到共变量偏移场景，并解释了域分类器质量与误覆盖率估计精度之间的非单调关系。实践上，它提供了一种简单而有效的策略——在分数空间而非输入空间进行加权。

对于需要部署保形预测系统的团队来说，这意味着在存在分布偏移时，不必追求最强大的域分类器，而应关注分数空间上的加权方案。同时，该研究也提醒我们，保形预测的扩展需要仔细考虑加权机制对最终报告的影响，而非简单地套用标准流程。