待验证50% 置信事实精确时间

在评估二分类模型时，多数类基线在正负样本各半时，一个永远预测'正常'的模型也能拿到 50% 的准确率。

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

大模型能读懂欺诈网络吗？Gemma 4 31B实测

相关事实

待验证一个随机猜测的模型在单次二元预测中有50%的概率押中76% 相似待验证测试中出现模型自称某步有95%把握但按评分标准得0分的案例74% 相似待验证完美校准的模型在可靠性图中应落在45度对角线上，而过度自信的模型曲线系统性位于对角线下方71% 相似待验证在 n=100 且正负样本各半的条件下，55% 准确率的 95% 置信区间大致在 45%–65%，覆盖 50% 的基线，因此 5 个百分点的差距可能是随机波动。70% 相似待验证选择与生成的差距超过50个百分点，揭示当用户需要模型直接写出亲属称谓时可靠性远低于基准测试所呈现的水平70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1007688

API

curl https://kongchang.com/api/v1/knowledge/claims/1007688

MCP

get_claim(id=1007688)