概念McNemar's Test / 麦克尼马尔检验
McNemar检验
由心理学家Quinn McNemar于1947年提出的统计检验方法,针对配对名义数据,特别适合比较两个分类器在同一测试集上的表现,通过分析两模型判断不一致的样本来评估差异显著性
时间轴 (近 90 天)
10月19日
精确McNemar检验用于比较两个相关样本的二分类结果,只利用不一致对子(gain 数 b 与 loss 数 c),在零假设下 b 和 c 服从成功概率0.5的二项分布,精确版本直接计算二项尾概率而非大样本卡方近似,在 b+c 较小时仍能给出可靠 p 值。
待验证50%
10月18日
McNemar检验适用于配对二分类数据,本文报告的p=0.00006(三包合计15修复、0破坏)和p=0.03(仅检查包6修复、0破坏)均来自该检验。
待验证50%
10月13日
AUC是衡量二分类模型排序能力的指标,取值0.5到1,不依赖具体阈值;McNemar检验是针对配对二分类数据的统计检验,p<0.05通常视为显著。
待验证50%
全部知识事实 (6)
待验证
该项目采用配对McNemar检验作为统计显著性验证方法
90%待验证McNemar检验是一种专门用于配对二分类数据的非参数检验方法
60%待验证精确McNemar检验用于比较两个相关样本的二分类结果,只利用不一致对子(gain 数 b 与 loss 数 c),在零假设下 b 和 c 服从成功概率0.5的二项分布,精确版本直接计算二项尾概率而非大样本卡方近似,在 b+c 较小时仍能给出可靠 p 值。
50%待验证McNemar检验适用于配对二分类数据,本文报告的p=0.00006(三包合计15修复、0破坏)和p=0.03(仅检查包6修复、0破坏)均来自该检验。
50%待验证AUC是衡量二分类模型排序能力的指标,取值0.5到1,不依赖具体阈值;McNemar检验是针对配对二分类数据的统计检验,p<0.05通常视为显著。
50%待验证McNemar 检验要求两个模型在完全相同的测试集上评估,任何测试集的不一致都会使检验失效
50%