待验证50% 置信基准精确时间
Decider在ContextualJudgeBench按官方成对协议自测一致准确率为67.1%,对比官方参考值65.4%,并排除了12个因平台反复失败的顺序
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至:2027/1/10
来源
涉及实体
相关事实
待验证在微软内部覆盖 36 项基准、近 15 万道题目的评估中,Decision-1 以 83.5% 的平均准确率位居首位,超过 Jev 1.13.0(82.3%)、Quyet-1.0-Large(81.9%)、GPT-6 Luna Decisions(79.4%)66% 相似待验证Caveman给出的固定54次运行基准测试结果显示输入Token减少33.2%,且18/18项正确性检查全部通过62% 相似待验证Bespoke Labs公布的benchmark覆盖33个公开数据集、3880个人工标注决策,Jeff 1.1B平均准确率最高76%,Nimble 9B为75.7%,Jeff 1.4B为73.3%,0.8B版为63.5%62% 相似待验证Top3配置取得准确率97.148%、加权F1 97.055%、MCC 0.9675,全面超越使用全部21个指标的Full21配置(准确率95.999%、加权F1 95.521%、MCC 0.9549)61% 相似待验证作为对照的简单三规则基线(3-rule baseline)准确率仅为64.4%,Jev领先约8个百分点60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1001728API
curl https://kongchang.com/api/v1/knowledge/claims/1001728MCP
get_claim(id=1001728)