待验证50% 置信基准精确时间
在微软内部覆盖 36 项基准、近 15 万道题目的评估中,Decision-1 以 83.5% 的平均准确率位居首位,超过 Jev 1.13.0(82.3%)、Quyet-1.0-Large(81.9%)、GPT-6 Luna Decisions(79.4%)
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/11
首次发现
有效期至:2027/1/9
来源
涉及实体
相关事实
待验证Bespoke Labs公布的benchmark覆盖33个公开数据集、3880个人工标注决策,Jeff 1.1B平均准确率最高76%,Nimble 9B为75.7%,Jeff 1.4B为73.3%,0.8B版为63.5%76% 相似待验证Top3配置取得准确率97.148%、加权F1 97.055%、MCC 0.9675,全面超越使用全部21个指标的Full21配置(准确率95.999%、加权F1 95.521%、MCC 0.9549)72% 相似待验证V1 方案自测 top-1 准确率达 93%,但在 137 张真实照片基准测试集上 top-5 准确率为 0/13771% 相似待验证在WebArena浏览器智能体基准测试中,当时最强的GPT-4智能体得分14.41%,人类得分78.24%70% 相似待验证pplx-decider-v1-27b 在 11 项基准测试中取得 85.7% 的平均成绩,领先于对比对象 Jev(官方数据)70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/997999API
curl https://kongchang.com/api/v1/knowledge/claims/997999MCP
get_claim(id=997999)