[控场AI]
基准OSWorld

OS World

OSWorld是一个用于评估AI智能体计算机操作能力的基准测试框架,专注于测量模型在真实桌面操作系统环境中完成任务的能力,涵盖文件管理、应用操作、网页浏览等多类交互场景。该基准通过模拟真实用户操作流程,评估模型的规划、执行与自主决策能力,是衡量计算机使用智能体综合性能的重要参考标准。

核心事实

时间轴 (近 90 天)

10月13日

在OS World基准上,Muse Wonderful得分78.4,Muse Wonder得分72.6,Fable 5.1为80,Astra为75,Opus为81。

待验证50%
10月9日

Haiku 5.5在Computer Use任务上比GPT-6 Luna高出约40%

待验证50%
10月7日

Haiku 5.5 在计算机使用(computer use)任务上的得分从 16% 跃升至 72%

待验证50%
10月7日

在 OS World 评测上,不到 12 个月前 Claude 得分不到 50%,而 Opus 4.7 已报告 78%

待验证50%
9月30日

OpenAI官方声称GPT-6.1 Sol在某些方面比Astra更聪明

已验证70%
9月26日

OS World将CUA战场从网页扩展到完整桌面操作,支持Linux、Windows等多种应用,成为最标准的CUA基准之一

待验证50%
9月25日

在DeepSuite基准上Grok 4.7得71%,GPT 5.6 Sol为72.7%,Fable 5.1为70%,Astra Max以74.1%登顶

已验证65%
9月25日

在 OS World 计算机操作测试中,Luna 得分 53%,而 Astra 达到 73%

待验证50%
9月18日

该模型官方跑分为SWE Bench Pro 61.7、LiveCode Bench V6 90.3、OS World 84.3

待验证50%
9月16日

NextN 2.5 的 OS World 成绩达到 56.4(官方口径),但权重标注 Coming soon,仅提供免费托管端点,无法独立复现

待验证50%

还有 6 条时间轴事件

全部知识事实 (20)

已验证

OpenAI官方声称GPT-6.1 Sol在某些方面比Astra更聪明

70%
已验证

Qwen3 27B在OS World Verified上从63.9跃升至84.3(官方自报数据)

70%
已验证

在DeepSuite基准上Grok 4.7得71%,GPT 5.6 Sol为72.7%,Fable 5.1为70%,Astra Max以74.1%登顶

65%
已验证

OS World是由卡内基梅隆大学等机构推出的评测基准,测试AI智能体在真实操作系统环境中执行复杂任务的能力

65%
待验证

Claude第一次推出计算机使用能力时,OS World得分还不到30%

80%
待验证

OS World基准测试由学术界于2024年提出,专门测试AI模型在真实操作系统环境中完成复杂任务的能力

80%
待验证

人类在OS World测试中的平均得分约为72-74%

70%
待验证

上一代Sonnet 4.5在OS World Verified基准测试中得分61.4%

60%
待验证

在OS World基准上,Muse Wonderful得分78.4,Muse Wonder得分72.6,Fable 5.1为80,Astra为75,Opus为81。

50%
待验证

Haiku 5.5在Computer Use任务上比GPT-6 Luna高出约40%

50%
待验证

Haiku 5.5 在计算机使用(computer use)任务上的得分从 16% 跃升至 72%

50%
待验证

在 OS World 评测上,不到 12 个月前 Claude 得分不到 50%,而 Opus 4.7 已报告 78%

50%
待验证

OS World将CUA战场从网页扩展到完整桌面操作,支持Linux、Windows等多种应用,成为最标准的CUA基准之一

50%
待验证

在 OS World 计算机操作测试中,Luna 得分 53%,而 Astra 达到 73%

50%
待验证

该模型官方跑分为SWE Bench Pro 61.7、LiveCode Bench V6 90.3、OS World 84.3

50%
待验证

NextN 2.5 的 OS World 成绩达到 56.4(官方口径),但权重标注 Coming soon,仅提供免费托管端点,无法独立复现

50%
待验证

Meta在展示OS World榜单成绩时使用了不同时间段的测试集与旧版模型对比,人为放大了进步幅度

50%
待验证

在Terminal-Bench 4.0上,Claude 5.1标准版得分55.8%,受信版达到60.9%;OS World 2.0部分完成率为77.9%

50%
待验证

相比上一代Qwen3.6-27B,Qwen3.8-27B在多项测试上大幅提升,其中Deep SWE从13.3提升到42.2(接近三倍),OS World从63.9提升到84.3

50%
待验证

OS World由卡内基梅隆大学等机构开发,要求模型在真实操作系统虚拟机中完成实际操作任务

50%

来源文章