待验证50% 置信决策规则精确时间

判定模型是否真正优于基线，通常需要更大样本（数百至数千）、配对检验（如 McNemar 检验）以及多次随机种子下的重复实验。

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

大模型能读懂欺诈网络吗？Gemma 4 31B实测

涉及实体

McNemar 检验concept

相关事实

待验证多种子实验中检验对象从单样本预测分歧变为多次运行的准确率序列时，通常已不再适用McNemar检验79% 相似待验证检验微调对比研究是否存在偏差的标准是查看超参数搜索章节，确认每个对照组都有独立的学习率调优记录及足够多的随机种子重复76% 相似待验证当比较两个具体训练模型的预测行为差异时应固定种子使用同一测试集运行McNemar检验，当评估方法整体优越性时应用多种子重复实验配合配对t检验或非参数检验75% 相似待验证作者建议的组合策略是用至少5个随机种子分别训练基线和提出方法，报告准确率均值和标准差配合配对检验，并对代表性种子额外运行 McNemar 检验展示样本级预测分歧74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1007689

API

curl https://kongchang.com/api/v1/knowledge/claims/1007689

MCP

get_claim(id=1007689)