待验证50% 置信概念精确时间

ThinkingBox 区分三个指标：pass@1（所有尝试中成功的比例）、pass@20（20次中至少成功一次的任务比例）、all-20（全部20次都成功的任务比例）

1

来源数

50%

置信度

长期有效

时效性

2026/10/9

首次发现

来源

ThinkingBox：微软用20次重复测试重新定义AI智能体可靠性

涉及实体

ThinkingBoxproduct

相关事实

待验证在歧义点的四类行为中，'先搜再问'成功率最高，平均通过率达93.4%，远高于'直接猜'的56.5%，'搜多次再猜'为51.5%65% 相似待验证大约一半的任务对所有模型来说都很简单，得分接近100%；另一半难题上三个模型分别拿到50%、45%和23%65% 相似待验证ARC-Challenge为四选一多项选择题，随机基线为25%64% 相似待验证测试LLM引用行为时应对同一提示至少运行20—50次，理想情况下扩大至100次以上63% 相似待验证单次运行的线索数量可配置，演示中设为5条，实际可提高到25、30甚至100条每次运行63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/991237

API

curl https://kongchang.com/api/v1/knowledge/claims/991237

MCP

get_claim(id=991237)