FairScreen
FairScreen是一个专为评估LLM在招聘简历筛选场景中公平性与准确性而设计的基准测试项目，采用"成对申请家族"设计和"稳健策略保真度"指标，系统测试多个大语言模型在已知答案虚构简历上的决策表现。
时间轴 (近 90 天)
FairScreen是开发者Maksim Silchenko为Kaggle基准测试挑战赛打造的项目，用十个LLM在已知答案的虚构简历上做系统测试，评估LLM招聘筛选决策
FairScreen采用成对申请家族设计，每个核心家族包含符合/不符合两种资质状态、两种身份变体和两种排版形式，共产生八个决策，只有八个决策全部正确才算家族通过
稳健策略保真度（robust policy fidelity）指标以家族级通过率衡量，50%分数意味着一半家族通过全部检查，而非一半单项回答正确
FairScreen测试对比了四种决策方式：直接判断、加入公平性指令、先提取事实再判断、以及用代码对同一份提取结果执行可运行策略
FairScreen的正确答案由隐藏的结构化记录在渲染申请前计算得出，LLM不参与标注，两套策略实现与一个纯文本解析器在全部2528个最终变体上达成一致
公平性指令效果有限：在集群六模型面板上仅使家族准确率变化−0.3个百分点，在Kaggle上为+2.5个百分点，区间均跨越零点
在集群面板上用代码替代模型的结构化决策（基于相同提取事实）平均提升20.5个百分点家族准确率，Llama 3.1 8B从模型自判1%提升至代码判决56%
作者建议：不要相信模型名气或公平性指令，应评估实际部署的筛选配置；可运行代码策略配合可靠事实提取可能比让模型自由发挥更可靠，但前提是提取必须保留缺失、冲突与不确定性
一个词袋基线能通过约41%的核心集，说明部分测试案例存在词汇层面的捷径
全部知识事实 (9)
FairScreen是开发者Maksim Silchenko为Kaggle基准测试挑战赛打造的项目，用十个LLM在已知答案的虚构简历上做系统测试，评估LLM招聘筛选决策
50%待验证FairScreen采用成对申请家族设计，每个核心家族包含符合/不符合两种资质状态、两种身份变体和两种排版形式，共产生八个决策，只有八个决策全部正确才算家族通过
50%待验证稳健策略保真度（robust policy fidelity）指标以家族级通过率衡量，50%分数意味着一半家族通过全部检查，而非一半单项回答正确
50%待验证FairScreen测试对比了四种决策方式：直接判断、加入公平性指令、先提取事实再判断、以及用代码对同一份提取结果执行可运行策略
50%待验证FairScreen的正确答案由隐藏的结构化记录在渲染申请前计算得出，LLM不参与标注，两套策略实现与一个纯文本解析器在全部2528个最终变体上达成一致
50%待验证公平性指令效果有限：在集群六模型面板上仅使家族准确率变化−0.3个百分点，在Kaggle上为+2.5个百分点，区间均跨越零点
50%待验证在集群面板上用代码替代模型的结构化决策（基于相同提取事实）平均提升20.5个百分点家族准确率，Llama 3.1 8B从模型自判1%提升至代码判决56%
50%待验证作者建议：不要相信模型名气或公平性指令，应评估实际部署的筛选配置；可运行代码策略配合可靠事实提取可能比让模型自由发挥更可靠，但前提是提取必须保留缺失、冲突与不确定性
50%待验证一个词袋基线能通过约41%的核心集，说明部分测试案例存在词汇层面的捷径
50%