待验证50% 置信决策规则精确时间

不能把模型给出的置信度（如90%）理解成'模型有90%的时间判断正确'，准确率必须用自己的样本实测

1

来源数

50%

置信度

长期有效

时效性

2026/9/18

首次发现

来源

Jev 实测：这个主打极速判断的 AI Agent 到底强在哪？

涉及实体

相关事实

已验证在样本严重不均衡时，精度(Accuracy)会产生误导，模型把所有人都预测为健康精度照样能达到99%以上77% 相似待验证'99% 准确率'的模型在生产环境中仍可能频繁出错，因为剩余的 1% 往往对应现实中最关键的长尾细节场景74% 相似已验证在样本极度不平衡的场景下，即便准确率高达95%，模型也可能完全无法识别少数类73% 相似待验证当所有模型在某评测上都能拿90分时该评测就应退场，即基准饱和现象73% 相似待验证2023年的TruthfulQA基准测试显示，即便是当时最强的模型，在需要精确事实判断的问题上准确率也未超过60%71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/931423

API

curl https://kongchang.com/api/v1/knowledge/claims/931423

MCP

get_claim(id=931423)