Unverified50% confidenceSolutionExact time
多种子重复实验中可使用配对t检验或Wilcoxon符号秩检验比较两组准确率分布，其中Wilcoxon检验因不依赖正态性假设更适合小样本
1
Sources
50%
Confidence
Long-term
Relevance
7/14/2026
First Seen
Sources
McNemar检验对比机器学习模型：随机种子下的正确用法
redditr/learnmachinelearning7/11/2026
Related Claims
Unverified多种子实验中检验对象从单样本预测分歧变为多次运行的准确率序列时，通常已不再适用McNemar检验77% similarUnverified2006年Janez Demšar发表论文《Statistical Comparisons of Classifiers over Multiple Data Sets》，论证配对t检验在比较分类器时存在问题，并推荐使用Wilcoxon符号秩检验或Friedman检验配合Nemenyi事后检验74% similarUnverified当比较两个具体训练模型的预测行为差异时应固定种子使用同一测试集运行McNemar检验，当评估方法整体优越性时应用多种子重复实验配合配对t检验或非参数检验73% similarUnverifiedMcNemar 检验要求两个模型在完全相同的测试集上评估，任何测试集的不一致都会使检验失效72% similarUnverified通过打乱测试执行顺序并多次运行，若某测试仅在特定顺序下失败，可推断其与其他测试存在状态污染或隐性依赖71% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/503211API
curl https://kongchang.com/api/v1/knowledge/claims/503211MCP
get_claim(id=503211)