待验证50% 置信事实精确时间
OSWorld维护者有一个未合并的修复,针对108个任务中的14个——它们的评分器会把对裁判模型的失败调用变成0分。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至:2027/1/10
来源
涉及实体
相关事实
待验证Simular在生成OSWorld 2.1参考运行时,因模型密钥使用上限导致任务在一步后停止,却被记录为成功、得分为0,整个文件夹平均分算出0.40。73% 相似待验证OSWorld 2.0中模型评估仅占总得分的11.53%,且没有任何任务的模型评估占比超过50%67% 相似待验证OS World的82项测试并非在完全相同条件下运行,一半任务沿用原基线分数,投入资源和尝试次数也不同,因此7个百分点提升不能全归功于记忆65% 相似待验证在Yutori追踪的OSWorld-Verified结果中,111条标注了运行次数的记录里,94条只跑了一次。64% 相似待验证在 τ-bench 零售环境基准测试中(30 个测试任务,模拟客户,单次运行,solvi 0.8.0,gpt-oss-120b 作为 Agent),无守卫时解决 18 个任务、环境拒绝 10 次变更调用;有守卫时解决 14 个任务、环境拒绝 0 次变更调用。62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1009489API
curl https://kongchang.com/api/v1/knowledge/claims/1009489MCP
get_claim(id=1009489)