待验证50% 置信基准精确时间
ThinkingBox基准测试由微软研究人员与Hugging Face发布,包含507个真实业务流程任务,每个任务运行20遍
1
来源数
50%
置信度
长期有效
时效性
2026/10/11
首次发现
来源
涉及实体
相关事实
待验证ThinkingBox 中每个任务被独立执行 20 次,每次从干净的后端初始状态开始,每个模型需跑 10,140 次试验73% 相似已验证一个包含10步规划的复杂Agent任务,实际Token消耗可能是单次对话的20-50倍63% 相似待验证试点实验让三个编程代理和八个模型各跑八次20分钟单次任务,标签感知F1从0.143到0.892方差极大62% 相似待验证编码任务实测中模型实现Python流式响应解析器,14项自测一次通过,真实任务总用时约49.94秒,独立复跑14项测试加4项额外检查全部通过62% 相似待验证开发者运行了20个批次、每批200次试验,共计4000次尝试,每次使用不同随机种子,按KL散度挑选最优候选61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/997637API
curl https://kongchang.com/api/v1/knowledge/claims/997637MCP
get_claim(id=997637)