[控场AI]
概念McNemar's Test / 麦克尼马尔检验

McNemar检验

由心理学家Quinn McNemar于1947年提出的统计检验方法,针对配对名义数据,特别适合比较两个分类器在同一测试集上的表现,通过分析两模型判断不一致的样本来评估差异显著性

时间轴 (近 90 天)

10月19日

精确McNemar检验用于比较两个相关样本的二分类结果,只利用不一致对子(gain 数 b 与 loss 数 c),在零假设下 b 和 c 服从成功概率0.5的二项分布,精确版本直接计算二项尾概率而非大样本卡方近似,在 b+c 较小时仍能给出可靠 p 值。

待验证50%
10月18日

McNemar检验适用于配对二分类数据,本文报告的p=0.00006(三包合计15修复、0破坏)和p=0.03(仅检查包6修复、0破坏)均来自该检验。

待验证50%
10月13日

AUC是衡量二分类模型排序能力的指标,取值0.5到1,不依赖具体阈值;McNemar检验是针对配对二分类数据的统计检验,p<0.05通常视为显著。

待验证50%

全部知识事实 (6)

来源文章