概念McNemar's test / 麦克尼马尔检验
McNemar 检验
一种用于配对二分类数据的统计检验方法，适用于比较两个模型在同一批样本上的表现差异是否显著。
时间轴 (近 90 天)
10月19日
在配对设计下，任何路由抖动、温度采样或重跑不稳定端点，都会把配对数据退化成非配对数据，使 McNemar 检验的前提失效。
待验证50%
10月15日
该对比使用了 Wilson 置信区间以及带 Holm-Bonferroni 校正的配对 McNemar 检验。
待验证50%
10月13日
去污染后模型在 HumanEval 上为 22.6%，HumanEval+ 上为 21.3%，MBPP 上为 35.0%；相比已发布版，HumanEval 下降 4.3 分，McNemar 检验 p = 0.039。
待验证50%
10月12日
判定模型是否真正优于基线，通常需要更大样本（数百至数千）、配对检验（如 McNemar 检验）以及多次随机种子下的重复实验。
待验证50%
全部知识事实 (4)
待验证
在配对设计下，任何路由抖动、温度采样或重跑不稳定端点，都会把配对数据退化成非配对数据，使 McNemar 检验的前提失效。
50%待验证该对比使用了 Wilson 置信区间以及带 Holm-Bonferroni 校正的配对 McNemar 检验。
50%待验证去污染后模型在 HumanEval 上为 22.6%，HumanEval+ 上为 21.3%，MBPP 上为 35.0%；相比已发布版，HumanEval 下降 4.3 分，McNemar 检验 p = 0.039。
50%待验证判定模型是否真正优于基线，通常需要更大样本（数百至数千）、配对检验（如 McNemar 检验）以及多次随机种子下的重复实验。
50%