分组条件共形风险控制：精确保证、局限与重叠扩展

引言

共形预测（Conformal Prediction）为机器学习模型提供了无分布假设的不确定性量化框架，而共形风险控制（Conformal Risk Control, CRC）进一步将保证从边际覆盖扩展到风险水平控制。然而，在许多高风险应用中，我们不仅需要整体风险受控，还要求特定子群体（如不同年龄、性别或疾病亚型）的风险也得到精确控制——这就是分组条件共形风险控制（Group-Conditional CRC）要解决的问题。

近期一篇论文对 disjoint（不相交）和 overlapping（重叠）分组下的 Group-Conditional CRC 进行了系统研究，在有界单调损失假设下，给出了精确的有限样本保证、揭示了根本性局限，并针对重叠分组提出了两种严格有效的方法。本文梳理其核心贡献，并讨论对实际部署的启示。

共形预测与共形风险控制的基本思想

共形预测的核心是构建具有有限样本覆盖保证的预测集：给定一个训练好的模型和一组校准数据，对新的测试样本构造一个集合，使得真实标签以至少 1-α 的概率落在集合中，且该保证不依赖于数据分布的具体形式。其关键工具是“非一致性评分”（nonconformity score），例如分类任务中的 1 - 预测概率，回归任务中的绝对残差。通过在校准集上计算这些评分并取适当的分位数，即可得到预测集。

共形风险控制（CRC）则将保证对象从“覆盖是否发生”推广到“任意有界损失函数的期望值”。例如，在预测集大小、假阴性率等指标上直接施加控制。CRC 通常要求损失函数关于某个调参量（如预测集阈值）单调，从而可以利用校准集上的经验风险加上一个有限样本修正项来选取参数，保证真实风险以高概率不超过目标水平。这一框架为 Group-Conditional CRC 提供了理论基础，因为分组条件风险本质上是在子群体上定义的期望损失。

问题设定与动机

传统 CRC 控制的是整个数据分布上的期望风险，但模型在少数群体上的表现可能显著更差。例如，在医疗影像诊断中，某个年龄段患者的误诊风险可能远高于平均水平，而整体风险指标却看似达标。Group-Conditional CRC 的目标是：对每个预定义分组，以高概率保证其条件风险不超过给定阈值。

论文聚焦于有界单调损失（bounded monotone losses），这是共形风险控制中常见且理论可处理的一类损失函数。在此设定下，作者分别处理了两种分组结构：不相交分组（每个样本只属于一个组）和重叠分组（样本可同时属于多个组）。

不相交分组：精确保证与双重界限

对于不相交分组，论文建立了精确的有限样本条件风险控制，即对每个分组独立地进行校准，从而得到该组风险的非渐近保证。此外，作者给出了分组限制风险的双侧界限（two-sided bounds），这意味着我们不仅能控制风险上限，还能刻画风险的下界，为评估方法的保守程度提供了理论工具。

更重要的是，论文揭示了两个根本性局限：局部支撑（local support）和校准秩粒度（calibration-rank granularity）。局部支撑指的是当某个分组在特征空间中分布稀疏时，校准数据可能不足以提供可靠的条件保证；校准秩粒度则源于共形方法基于秩统计量的离散性，导致风险控制只能达到有限的精度。这些局限并非算法缺陷，而是共形框架内在的性质，提醒实践者在数据稀缺的分组上需谨慎解读保证。

校准秩粒度

共形方法依赖校准集上的秩统计量来选取阈值。对于大小为 n 的校准集，经验分位数的可能取值只有 n+1 个离散水平，因此风险控制能达到的精度受限于 1/(n+1) 量级。当目标风险阈值非常小，或分组样本量较少时，这种离散性会导致实际风险可能明显低于或高于目标值，且无法通过算法调整来消除。这就是“校准秩粒度”局限：它反映了有限校准数据下共形保证的固有保守性或粗糙性。对于分组条件控制，每个分组都需要足够多的校准样本才能达到所需的粒度，否则保证虽然有效但可能过于宽松，失去实际指导意义。

重叠分组：两种有效方法及其权衡

重叠分组更贴近现实——一个患者可能同时属于“老年”和“糖尿病”两个组，而分组间存在交叉。论文研究了两种严格有效的方法：

方法一：分组限制校准后联合部署

第一种方法对每个分组分别进行校准，然后将各组的预测集联合部署（union deployment）。这种方法的有效性直观，但联合后的预测集可能过大。论文刻画了联合的极限调和间隙（limiting reconciliation gap），即在最坏情况下，联合预测集与理想条件预测集之间的差距，并识别了该间隙消失的条件。对于特定乘积形式模型中的结构化损失，作者还建立了尖锐下界，说明在某些情形下间隙无法避免。

极限调和间隙与调和松弛

当对每个分组分别校准得到预测集后，为了同时满足所有分组的风险要求，通常需要取这些预测集的并集进行部署。然而，并集操作会放大预测集尺寸，导致整体效率下降。论文定义的“极限调和间隙”刻画了这种联合部署与理想条件预测集之间的最坏情况差距。所谓“调和松弛”，是指在联合过程中为了协调不同分组的阈值而不得不放宽的额外风险余量。该间隙是否消失取决于分组之间的异质性程度以及损失函数的结构：当各组的最优阈值接近时，间隙较小；当分组风险轮廓差异很大时，间隙可能持续存在。这一概念帮助实践者量化联合部署的保守程度。

方法二：直接校准部署的预测集族

第二种方法直接对最终部署的预测集族进行校准，而不是先分组校准再联合。论文在一个序数模型（ordinal model）中证明了直接校准具有严格的尺寸优势，即其预测集严格更小。

实验发现与实证启示

实验表明，直接校准确实可以减小预测集尺寸，但其效率依赖于分组结构、损失类型以及形状拟合（shape fitting）。作者还在历史糖尿病视网膜病变评分数据上进行了实验，进一步展示了这些权衡。总体结论是：局部支撑、调和松弛（reconciliation slack）和阈值异质性共同决定效率，两种方法没有一方在所有场景下占优。

这一结论对实际应用具有重要指导意义：在部署 Group-Conditional CRC 时，需要根据分组重叠程度、数据丰富度和损失函数特性来选择校准策略，而非盲目追求某一种“最优”方法。

总结与展望

该工作为 Group-Conditional CRC 提供了坚实的理论基础，明确了不相交分组下的精确保证与内在局限，并为重叠分组提供了两种可证明有效的方法。未来方向可能包括放宽有界单调损失假设、处理在线或动态分组场景，以及将理论框架扩展到更复杂的模型结构。对于关注公平性和可靠性的机器学习从业者，这篇论文的结论值得深入研读。