Unverified50% confidenceBenchmarkExact time
在带命题约束的任务中，模型整合已验证为无效候选的比例高达93%–100%
1
Sources
50%
Confidence
Long-term
Relevance
9/8/2026
First Seen
Sources
Related Claims
Unverified基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期71% similarVerified在样本极度不平衡的场景下，即便准确率高达95%，模型也可能完全无法识别少数类71% similarUnverified在正负样本比为1:99的欺诈检测任务中，将所有样本预测为'非欺诈'的模型也能获得99%的准确率71% similarUnverified一个 90% 成功、10% 出错的工具调用系统几乎无法投入实际使用，因为单次错误会污染后续上下文造成级联失败70% similarUnverified讲者认为评估AI编程代理应关注80%、90%、99%成功率下的数据而非常被引用的50%成功率版本，因为99%才意味着可信赖并委托给模型70% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/875708API
curl https://kongchang.com/api/v1/knowledge/claims/875708MCP
get_claim(id=875708)