待验证50% 置信事实精确时间
Pass@1 衡量模型第一次尝试就成功完成任务的比率,不允许多次重试。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证0.610 的 WANDR 得分不意味着模型在60%的任务上完全成功,实际部分完成率与任务复杂度分布相关68% 相似待验证应按事务衡量成功率并允许重试,而非按单次运行衡量——单次成功率50%的Agent在允许一次事务最多重试4次时,单事务成功率可达约94%66% 相似待验证斯坦福大学的AgentBench基准测试(2023年)量化证明,在复杂多步骤任务中纯ReAct范式的成功率往往不超过30%65% 相似待验证在全部68个任务-范式组合中,35.3%的组合里PPG基础模型相比随机/常数基线没有任何有意义的优势65% 相似待验证该基准给每个模型输出两个永不合并的数字:任务得分和虚假自信率(本应上报却强行作答的比例)64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1023947API
curl https://kongchang.com/api/v1/knowledge/claims/1023947MCP
get_claim(id=1023947)