基准
ComFair
一个可配置的多属性公平性审计基准,通过配对增强设计将单属性实例转换为多属性实例,用于衡量LLM在交叉性属性组合下的偏见与性能变化。
时间轴 (近 90 天)
10月27日
ComFair 是一个可配置的公平性基准,将现有公平性数据转换为 479,066 个受控的双属性和多属性实例,并将每个增强实例与其任务等价的源实例配对。
待验证50%
10月27日
ComFair 的配对设计支持统一的审计,涵盖识别、选择、续写和对话四类任务。
待验证50%
10月27日
ComFair 为每个多属性实例构造一个“任务等价”的单属性源实例,即两者在输入语义、标签和任务指令上一致,仅敏感属性组合不同。
待验证50%
10月27日
在十种 LLM 上的实验揭示:判别式任务(如识别和选择)即使总体变化不大,也会暴露出两个方向的转变;生成式任务(如续写和对话)则表现出更大且方向不对称的偏移。
待验证50%
10月27日
ComFair 并非自然联合分布模型,而是受控审计工具。
待验证50%
全部知识事实 (5)
待验证
ComFair 是一个可配置的公平性基准,将现有公平性数据转换为 479,066 个受控的双属性和多属性实例,并将每个增强实例与其任务等价的源实例配对。
50%待验证ComFair 的配对设计支持统一的审计,涵盖识别、选择、续写和对话四类任务。
50%待验证ComFair 为每个多属性实例构造一个“任务等价”的单属性源实例,即两者在输入语义、标签和任务指令上一致,仅敏感属性组合不同。
50%待验证在十种 LLM 上的实验揭示:判别式任务(如识别和选择)即使总体变化不大,也会暴露出两个方向的转变;生成式任务(如续写和对话)则表现出更大且方向不对称的偏移。
50%待验证ComFair 并非自然联合分布模型,而是受控审计工具。
50%