待验证50% 置信观点精确时间
单次调用通过测试只给出 n=1 的结果，不足以证明模型可靠性；需要通过多次试验计算通过率及其置信区间下界。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
待验证任何单一基准测试的高分（如99.9%）只说明模型在该测试题目分布内表现优异，不能直接等同于通用智能。78% 相似待验证多重比较问题指同时测试多个模型变体时，即使每个单独检验显著性水平设为0.05，整体假阳性率也会急剧膨胀78% 相似待验证基准测试通常只计算一次成功调用的成本，完全忽略真实工作流中的反复试错，若只统计一次成功调用成本就等于默认重试率为零，与实际账单严重脱节。77% 相似待验证对同一测试用例执行多次调用统计成功比例得到通过率，比二元的通过/失败判断更能反映模型真实表现77% 相似待验证用单一测试案例评估模型性能是一个统计陷阱，即小样本偏差（Small Sample Bias）74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1052528API
curl https://kongchang.com/api/v1/knowledge/claims/1052528MCP
get_claim(id=1052528)