待验证50% 置信观点精确时间

大模型测试存在偶然性，任何榜单都只代表特定提示词下的特定结果

1

来源数

50%

置信度

长期有效

时效性

2026/7/9

首次发现

来源

华为盘古2.0 Flash高考实测：613分成绩与稳定性深度解析

bilibiliwycode_cn2026/7/7

相关事实

待验证通过打乱测试执行顺序并多次运行，若某测试仅在特定顺序下失败，可推断其与其他测试存在状态污染或隐性依赖73% 相似待验证多种子实验中检验对象从单样本预测分歧变为多次运行的准确率序列时，通常已不再适用McNemar检验71% 相似待验证过拟合小样本测试可用于排查代码bug：若模型连几十个样本都无法完美记住，几乎可断定是代码、标签或模型结构存在bug71% 相似待验证选择和使用不同模型档位时不能仅凭版本号判断，基于真实场景的多轮测试才是评估模型能力的可靠依据69% 相似待验证McNemar 检验要求两个模型在完全相同的测试集上评估，任何测试集的不一致都会使检验失效69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/330514

API

curl https://kongchang.com/api/v1/knowledge/claims/330514

MCP

get_claim(id=330514)