待验证50% 置信解决方案精确时间

对同一测试用例执行多次调用统计成功比例得到通过率，比二元的通过/失败判断更能反映模型真实表现

1

来源数

50%

置信度

长期有效

时效性

2026/7/17

首次发现

来源

用Pydantic Evals量化LLM输出质量并纳入CI质量门禁

相关事实

待验证多重比较问题指同时测试多个模型变体时，即使每个单独检验显著性水平设为0.05，整体假阳性率也会急剧膨胀78% 相似部分验证研究表明，同一模型在不同提示词下的输出质量可能相差数倍76% 相似待验证测试的准确率数据在n=100样本量下误差约为±8-10个百分点（基于95%置信水平的二项分布置信区间）74% 相似待验证综合多个独立来源的评测结果比单一自报基准分数更能反映模型的实际水平72% 相似待验证早期研究发现同一问题用不同表述方式提问，模型性能差异可高达数十个百分点71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/536677

API

curl https://kongchang.com/api/v1/knowledge/claims/536677

MCP

get_claim(id=536677)