ComFair：多属性联合公平性基准，揭示LLM交叉性危害

为什么单属性公平性审计不够？

大型语言模型（LLM）的公平性评估通常一次只审计一个敏感属性，例如仅关注性别或仅关注种族。这种单属性范式可能遗漏交叉性危害：当多个属性交互时，非可加性的效应会产生在边缘评估中不可见的失败模式。据论文《Beyond Single-Attribute Auditing: A Configurable Multi-Attribute Benchmark for Intersectional Fairness in LLMs》指出，现有基准大多采用单属性审计，无法捕捉多属性联合分布下的模型行为偏差。

交叉性（Intersectionality） 概念最早由 Kimberlé Crenshaw 于1989年提出，用于描述黑人女性在就业与法律语境中遭遇的、无法由“种族歧视”或“性别歧视”单独解释的复合劣势。在机器学习公平性研究中，交叉性危害指模型在多个敏感属性联合取值（如“女性+少数族裔”）上的表现，不能由各属性边缘表现的简单相加或平均来预测。其数学根源在于模型决策函数对属性组合的非可加性：若模型对性别和种族的偏见存在交互项，则单属性审计所测得的平均偏见可能为零，而特定交叉子群却承受严重偏差。因此，边缘审计在统计上等价于对联合分布做投影，必然丢失交互信息，这也是多属性审计在方法论上不可替代的原因。

ComFair：可配置的多属性公平性基准

为了解决这一问题，研究者提出了ComFair，一个可配置的基准，将现有公平性数据转换为479,066个受控的双属性和多属性实例，并将每个增强实例与其任务等价的源实例配对。这种配对设计支持统一的审计，涵盖识别、选择、续写和对话四类任务，能够衡量性能或偏见分数的变化、新增属性引入新错误或掩盖现有错误的频率，以及模型排名的稳定性。

核心设计：配对增强与任务等价

ComFair的关键创新在于每个多属性实例都对应一个单属性源实例，从而隔离出属性组合带来的因果效应。这种受控实验设计使得研究者可以精确量化交叉性公平性的影响，而不是仅仅观察自然联合分布中的相关性。

配对设计（paired design） 借鉴自因果推断中的匹配与随机对照思想。ComFair 为每个多属性实例构造一个“任务等价”的单属性源实例，即两者在输入语义、标签和任务指令上一致，仅敏感属性组合不同。这样，模型在配对实例上的输出差异就可归因于属性组合本身，而非提示词长度、词汇分布或任务难度等混杂因素。与观察性审计相比，配对设计把“相关性比较”转化为“受控反事实比较”，从而能区分两种效应：新增属性是否引入新错误（false positive 方向）以及是否掩盖既有错误（false negative 方向）。这种可分解的误差分析是衡量交叉性危害严重程度的关键，也是模型排名稳定性检验的基础。

实验发现：任务与子群依赖的敏感性

在十种LLM上的实验揭示了任务和子群依赖的敏感性。判别式任务（如识别和选择）即使总体变化不大，也会暴露出两个方向的转变；生成式任务（如续写和对话）则表现出更大且方向不对称的偏移；模型排名随属性组成而变化。这些发现表明，单属性审计得出的结论可能无法稳健地推广到多属性场景。

判别式任务 vs 生成式任务

判别式任务中，新增属性可能同时引入新错误和掩盖旧错误，但净效应可能相互抵消，导致总体指标变化 modest。生成式任务则更容易出现方向性偏移，例如某些属性组合会系统性地降低生成质量。

判别式任务与生成式任务 在公平性审计中的差异源于输出空间的结构。判别式任务（识别、选择）输出离散标签，偏见表现为标签翻转或概率阈值附近的漂移，正负误差可能在总体准确率上相互抵消，因此总体指标对属性组合不敏感。生成式任务（续写、对话）输出自由文本，偏见通过词汇选择、情感倾向、刻板印象密度等连续维度体现，缺少天然的“正确标签”来抵消偏差，故属性组合更易造成方向一致的系统性偏移。这也解释了为何生成式任务的公平性评估需要更细粒度的指标（如情感分数、毒性分数、刻板印象评分），而不能仅依赖准确率或错误率的聚合值。

对公平性评估的启示

ComFair提供了一种可扩展的受控敏感性审计方法，而非模拟身份的自然联合分布。它强调的是测试公平性基准结论在单属性设置之外的稳健性。对于AI研究者和产品团队而言，这意味着在评估模型公平性时，需要采用多属性联合审计，以避免遗漏交叉性危害。

局限与未来方向

论文指出，ComFair并非自然联合分布模型，而是受控审计工具。未来工作可以扩展至更多属性类型和任务场景，并结合真实分布进行验证。

总之，多属性公平性审计是LLM评估的重要补充，ComFair为这一方向提供了可配置、可扩展的基准。

受控审计与自然联合分布 是两种互补的评估范式。自然联合分布审计反映模型在真实人口构成下的部署风险，但属性间存在强相关（如种族与收入、性别与职业），难以分离单一属性的因果贡献；受控审计通过人为构造属性组合打破这种相关，能干净地识别交互效应，但其属性组合在现实中的出现频率未必与基准中的权重一致。因此，ComFair 的结论应理解为“敏感性探测”而非“风险估计”：它回答的是模型在哪些交叉子群上可能失效，而非这些子群在部署中占多大比例。未来结合两者，可用受控审计定位脆弱子群，再用自然分布数据加权，得到更贴近实际的风险度量。