OSWorld
面向AI智能体的操作系统级别基准测试环境，用于评估智能体在桌面操作系统任务中的表现
核心事实
时间轴 (近 90 天)
OSWorld维护者有一个未合并的修复，针对108个任务中的14个——它们的评分器会把对裁判模型的失败调用变成0分。
OSWorld 2.0到2.1之间，174个针对任务文件的pull request被合并。
Anthropic在修复zoom工具的bug并提高每轮token上限后重新运行旧模型，Claude Opus 4.7的OSWorld分数从78.0%涨到82.8%，模型没有任何变化。
一个OSWorld的PR显示，23244个动作中有357个因控制器对已部分执行的命令重试而被执行了两次。
OSWorld团队将镜像从50 GB压到25 GB后，LibreOffice首次启动从一分钟降到5秒。
新模型在GDPVal达到1620分（上一代735），OSWorld从15.7%提升到72.4%，Terminal Bench从0.0%提升到39.2%，人类最后的考试无工具从10.2%到45.9%、带工具从18.7%到57.4%
在多个基准测试中Sonnet 5.5与Opus 5.5分差极小，如GDP Val为1844对1846、OS World为80.1%对81%、Humanity's Last Exam为64.5对67.7
在DeepSuite基准上Grok 4.7得71%，GPT 5.6 Sol为72.7%，Fable 5.1为70%，Astra Max以74.1%登顶
Sai在OSWorld基准测试中取得73%的成绩
OSWorld在2024年发布时，最强基线模型成绩仅约12%，人类完成率约72%
还有 5 条时间轴事件
全部知识事实 (20)
在DeepSuite基准上Grok 4.7得71%，GPT 5.6 Sol为72.7%，Fable 5.1为70%，Astra Max以74.1%登顶
65%待验证OSWorld基准测试由卡内基梅隆大学等机构于2024年提出，包含369个涵盖Linux、Windows和macOS的真实计算机任务
90%待验证OSWorld是首个面向真实操作系统环境的多模态Agent评估基准
85%待验证在OSWorld最初发布时，最强的GPT-4V模型仅达到约12.24%的成功率
85%待验证Anthropic的Computer Use在OSWorld基准测试上的操作准确率约为14.9%（2024年10月数据）
85%待验证Claude在OSWorld基准测试上的任务完成率达到了14.9%，代表了当时的最高水平
60%待验证Anthropic在修复zoom工具的bug并提高每轮token上限后重新运行旧模型，Claude Opus 4.7的OSWorld分数从78.0%涨到82.8%，模型没有任何变化。
50%待验证OSWorld维护者有一个未合并的修复，针对108个任务中的14个——它们的评分器会把对裁判模型的失败调用变成0分。
50%待验证OSWorld团队将镜像从50 GB压到25 GB后，LibreOffice首次启动从一分钟降到5秒。
50%待验证新模型在GDPVal达到1620分（上一代735），OSWorld从15.7%提升到72.4%，Terminal Bench从0.0%提升到39.2%，人类最后的考试无工具从10.2%到45.9%、带工具从18.7%到57.4%
50%待验证在多个基准测试中Sonnet 5.5与Opus 5.5分差极小，如GDP Val为1844对1846、OS World为80.1%对81%、Humanity's Last Exam为64.5对67.7
50%待验证OSWorld是上海交通大学等机构联合发布的开放评测基准，包含在真实操作系统中执行的369个任务，涵盖Web浏览器、文件管理器、Office套件等软件，以任务成功率为指标
50%待验证Sai在OSWorld基准测试中取得73%的成绩
50%待验证OSWorld在2024年发布时，最强基线模型成绩仅约12%，人类完成率约72%
50%待验证Mind2Web 和 OSWorld 是基于静态截图的基准测试，允许智能体在完全静止的界面上决策
50%待验证OSWorld和WindowsAgentArena等主流GUI智能体基准已开始结合可访问性树进行状态验证
50%待验证Qwen3 27B 在电脑操作类基准上表现为 OSWorld Verified 84.3、WebArena Verified 64.8、AndroidWorld 81.9
50%待验证Mythos Preview比Mythos 5早发布两个多月，但在UK AISI cyber ranges、GPQA、HLE+tools、OSWorld及多数病毒学任务等多项基准测试上超越了Mythos 5
50%待验证一个OSWorld的PR显示，23244个动作中有357个因控制器对已部分执行的命令重试而被执行了两次。
50%待验证OSWorld 2.0到2.1之间，174个针对任务文件的pull request被合并。
50%