[控场AI]
基准

ComFair

一个可配置的多属性公平性审计基准,通过配对增强设计将单属性实例转换为多属性实例,用于衡量LLM在交叉性属性组合下的偏见与性能变化。

时间轴 (近 90 天)

10月27日

ComFair 是一个可配置的公平性基准,将现有公平性数据转换为 479,066 个受控的双属性和多属性实例,并将每个增强实例与其任务等价的源实例配对。

待验证50%
10月27日

ComFair 的配对设计支持统一的审计,涵盖识别、选择、续写和对话四类任务。

待验证50%
10月27日

ComFair 为每个多属性实例构造一个“任务等价”的单属性源实例,即两者在输入语义、标签和任务指令上一致,仅敏感属性组合不同。

待验证50%
10月27日

在十种 LLM 上的实验揭示:判别式任务(如识别和选择)即使总体变化不大,也会暴露出两个方向的转变;生成式任务(如续写和对话)则表现出更大且方向不对称的偏移。

待验证50%
10月27日

ComFair 并非自然联合分布模型,而是受控审计工具。

待验证50%

全部知识事实 (5)

来源文章