SCF
一种用于语言模型用户推理任务的证据聚合方法,基于Fisher组合概率检验,通过截断文档级证据并在源内平均,实现对数据源是否参与模型训练的判断。
时间轴 (近 90 天)
SCF配套的校准决策规则使用另一组已知的非参与源来校准p值,从而检验源参与假设。
在源可交换性假设下,SCF的校准决策规则提供了有限样本的Type-I错误控制。
研究者在四个真实世界数据集上进行了实验,覆盖四个不同领域;结果显示,在评估的聚合方法中,SCF在四个领域均取得了最高的AUROC。
结合校准决策规则后,SCF在测试的设置中始终提供具有竞争力的检测能力,在许多情况下达到最高功效,同时经验假阳性率通常接近或低于名义水平。
B站UP主和YouTube频道对相关工作的讨论均指出,SCF的截断机制有效缓解了极端文档分数的影响,而校准规则则保证了统计严谨性。
部分讨论对SCF在极小源规模(如仅2-3个文档)下的表现提出疑问,认为截断可能过度削弱证据;但原始实验未专门测试这一边缘情况。
全部知识事实 (6)
SCF配套的校准决策规则使用另一组已知的非参与源来校准p值,从而检验源参与假设。
50%待验证在源可交换性假设下,SCF的校准决策规则提供了有限样本的Type-I错误控制。
50%待验证研究者在四个真实世界数据集上进行了实验,覆盖四个不同领域;结果显示,在评估的聚合方法中,SCF在四个领域均取得了最高的AUROC。
50%待验证结合校准决策规则后,SCF在测试的设置中始终提供具有竞争力的检测能力,在许多情况下达到最高功效,同时经验假阳性率通常接近或低于名义水平。
50%待验证B站UP主和YouTube频道对相关工作的讨论均指出,SCF的截断机制有效缓解了极端文档分数的影响,而校准规则则保证了统计严谨性。
50%待验证部分讨论对SCF在极小源规模(如仅2-3个文档)下的表现提出疑问,认为截断可能过度削弱证据;但原始实验未专门测试这一边缘情况。
50%