Conformal Policy Selection：用FDR控制为AI决策部署加装安全阀

AI策略正越来越多地介入医疗、金融、教育和公共服务等高风险决策。但一个政策“平均有效”并不等于对每个人都安全——现有离线策略评估与安全策略学习工具大多提供群体层面的保证，却难以回答“对谁有效、对谁有害”这一关键问题。一篇新论文提出 Conformal Policy Selection，将选择性部署重新表述为多重检验问题，用错误发现率（FDR）控制为个体级AI决策部署提供统计安全阀。

从群体保证到个体风险：AI部署的盲区

当前主流做法是训练一个全局策略，再用离线评估估计其整体收益。这种做法在平均意义上或许成立，但论文指出，部分个体可能承受负面处理效应。在医疗场景中，这意味着一个在总体人群中表现良好的治疗推荐策略，可能在某个高风险亚群上系统性地给出有害建议。

问题的根源在于评估目标与部署目标之间的错位：离线评估回答的是“这个策略平均好不好”，而负责任部署需要回答“对哪些单元部署是安全的”。论文将后者转化为一个可操作的统计问题——对每个候选单元，检验其在该AI策略下的结果是否超过用户设定的阈值，并对被选中的集合控制FDR。

错误发现率（FDR） 是多重假设检验中控制错误拒绝比例的一个统计指标，定义为被拒绝的原假设中实际为真的比例的期望值。与传统的族错误率（FWER）控制所有错误拒绝至少一次的概率不同，FDR允许在大量检验中容忍一定比例的错误发现，从而在保持统计严谨性的同时显著提高检验功效。在AI策略部署场景中，每个候选单元对应一个原假设（如“该单元在策略下的处理效应未超过阈值”），FDR控制意味着被选入部署清单的单元中，错误纳入（即实际不满足安全条件却被选中）的比例的期望值被限制在用户设定的水平（如5%或10%）以内。这一框架特别适合“筛选”而非“确认”的决策形态，因为部署清单本身允许存在少量错误，但需要对其比例有明确的统计约束。

方法核心：加权保形p值 + 两步筛选

Conformal Policy Selection 的技术路线由两个组件构成。其一是加权保形p值，用于校正从行为策略到目标策略的分布偏移。保形推断本身提供有限样本下的有效性保证，而加权机制使其适用于反事实评估中行为分布与目标分布不一致的情形。

其二是两步选择与剪枝流程：先以较宽松的标准选出候选单元，再通过剪枝步骤剔除不满足FDR约束的部分。论文证明该流程在有限样本下控制FDR，并建立了双重稳健的渐近保证——只要结果模型或倾向性模型之一被正确设定，FDR控制依然成立。这一性质在实际应用中尤为重要，因为高维协变量下两个模型同时正确几乎不可能，双重稳健性提供了容错空间。

保形推断（Conformal Inference） 是一种无分布假设的统计推断框架，其核心思想是利用“可交换性”构造预测区间或p值，从而在有限样本下提供有效性保证。具体而言，给定一个校准集和新的测试点，保形方法通过比较测试点与校准点的非 conformity 分数来生成p值，该p值在零假设下服从均匀分布（或满足超均匀性），因而可直接用于假设检验。在因果推断或策略评估中，由于观测数据来自行为策略而非目标策略，数据分布存在偏移，标准保形方法不再直接适用。加权保形p值通过引入重要性权重（行为策略下观测到该单元的概率与目标策略下概率之比）对校准集进行重加权，恢复了加权分布下的可交换性，从而将保形推断扩展到反事实评估场景。这一加权机制是连接离线数据与目标策略部署的关键桥梁。

双重稳健估计（Doubly Robust Estimation） 是因果推断中处理混杂偏倚的经典技术，其核心思想是结合结果模型（outcome model，即给定协变量和处理下预测结果的模型）和倾向性模型（propensity model，即给定协变量下接受处理的概率模型），构造一个估计量：只要两个模型中有一个被正确设定，该估计量就是一致的。在Conformal Policy Selection中，双重稳健性被用于建立FDR控制的渐近保证：权重估计依赖于倾向性模型，而处理效应估计依赖于结果模型，论文证明只要二者之一正确，FDR控制依然成立。这一性质在高维协变量场景下尤为重要，因为两个模型同时正确几乎不可能，双重稳健性提供了对模型误设定的容错空间，使得方法在实际应用中更加可靠。

实验验证：四种误设定下的稳健性

论文在合成实验中覆盖了四种模型误设定情形，验证了上述理论保证。更具说服力的是一个基于真实电子健康记录协变量的半合成研究：全局训练的策略在一个高风险亚群上出现误泛化，而FDR控制充当了部署安全门，限制了该策略原本会施加的有害治疗数量。

这项工作与AI安全领域近期的若干方向形成呼应。模型不确定性与校准研究关注预测可靠性，而Conformal Policy Selection补充了决策层面的保证——不仅预测要可信，部署决策的筛选也要有统计约束。相比简单的置信区间过滤，多重检验框架的优势在于显式控制被选中集合中的错误比例，这更贴近“部署清单”的实际决策形态。

值得关注的局限与适用边界

框架的有效性依赖几个前提：用户需要设定结果阈值，而阈值选择本身带有领域判断；保形p值的权重估计依赖倾向性模型的质量，尽管双重稳健性缓解了这一问题。此外，FDR控制是对被选中集合的平均保证，并非对每个个体的确定性安全承诺——它约束的是“选中集合中错误比例”的期望，而非消除所有个体风险。

对于高风险AI部署实践，这一方法的启示在于：与其追求一个全局最优策略，不如将部署视为一个筛选问题，用统计保证圈定可信赖的干预范围。这种思路在精准医疗、定向教育干预和差异化金融服务中都有直接的应用潜力。

要点回顾

• 将AI策略的靶向部署建模为多重检验问题，对每个候选单元检验处理效应是否超过阈值。
• 加权保形p值校正行为策略到目标策略的分布偏移，两步筛选流程实现有限样本FDR控制。
• 双重稳健渐近保证：结果模型或倾向性模型任一正确即可维持FDR控制。
• 半合成电子健康记录实验显示，FDR控制可作为部署安全门，限制对高风险亚群的误泛化伤害。