待验证50% 置信基准精确时间
在带命题约束的任务中，模型整合已验证为无效候选的比例高达93%–100%
1
来源数
50%
置信度
长期有效
时效性
2026/9/8
首次发现
来源
相关事实
待验证基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期71% 相似已验证在样本极度不平衡的场景下，即便准确率高达95%，模型也可能完全无法识别少数类71% 相似待验证在正负样本比为1:99的欺诈检测任务中，将所有样本预测为'非欺诈'的模型也能获得99%的准确率71% 相似待验证一个 90% 成功、10% 出错的工具调用系统几乎无法投入实际使用，因为单次错误会污染后续上下文造成级联失败70% 相似待验证讲者认为评估AI编程代理应关注80%、90%、99%成功率下的数据而非常被引用的50%成功率版本，因为99%才意味着可信赖并委托给模型70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/875708API
curl https://kongchang.com/api/v1/knowledge/claims/875708MCP
get_claim(id=875708)