待验证50% 置信基准精确时间
在 SciResearch-Eval 中,多数模型的 95% 置信区间仅在 20% 到 62% 的情况下覆盖真实值。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/17
首次发现
有效期至:2027/2/15
来源
涉及实体
相关事实
待验证模型报告的置信度与实际正确率严重脱节:95%置信度档实际正确率为0%,90%和70%档实际正确率均为100%。75% 相似待验证翻转集中发生在模型自身置信度较低的区域:置信度最低的三分位翻转率达54%,而最高三分位仅8%。72% 相似待验证99.3%通过率(283/285)对应的95%置信区间约为97.5%-99.9%(使用Wilson区间估计)72% 相似待验证Paul Christiano表示,在实验室内部研究员们讨论顺利过关的概率往往是95%还是75%,很少有人会说99%。71% 相似待验证全样本平均效应的CausalPFN区间仅在20%的数据集中包含真实值,远低于95%的预期。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1178923API
curl https://kongchang.com/api/v1/knowledge/claims/1178923MCP
get_claim(id=1178923)