OS World
OSWorld是一个用于评估AI智能体计算机操作能力的基准测试框架,专注于测量模型在真实桌面操作系统环境中完成任务的能力,涵盖文件管理、应用操作、网页浏览等多类交互场景。该基准通过模拟真实用户操作流程,评估模型的规划、执行与自主决策能力,是衡量计算机使用智能体综合性能的重要参考标准。
核心事实
时间轴 (近 90 天)
在OS World基准上,Muse Wonderful得分78.4,Muse Wonder得分72.6,Fable 5.1为80,Astra为75,Opus为81。
Haiku 5.5在Computer Use任务上比GPT-6 Luna高出约40%
Haiku 5.5 在计算机使用(computer use)任务上的得分从 16% 跃升至 72%
在 OS World 评测上,不到 12 个月前 Claude 得分不到 50%,而 Opus 4.7 已报告 78%
OpenAI官方声称GPT-6.1 Sol在某些方面比Astra更聪明
OS World将CUA战场从网页扩展到完整桌面操作,支持Linux、Windows等多种应用,成为最标准的CUA基准之一
在DeepSuite基准上Grok 4.7得71%,GPT 5.6 Sol为72.7%,Fable 5.1为70%,Astra Max以74.1%登顶
在 OS World 计算机操作测试中,Luna 得分 53%,而 Astra 达到 73%
该模型官方跑分为SWE Bench Pro 61.7、LiveCode Bench V6 90.3、OS World 84.3
NextN 2.5 的 OS World 成绩达到 56.4(官方口径),但权重标注 Coming soon,仅提供免费托管端点,无法独立复现
还有 6 条时间轴事件
全部知识事实 (20)
OpenAI官方声称GPT-6.1 Sol在某些方面比Astra更聪明
70%已验证Qwen3 27B在OS World Verified上从63.9跃升至84.3(官方自报数据)
70%已验证在DeepSuite基准上Grok 4.7得71%,GPT 5.6 Sol为72.7%,Fable 5.1为70%,Astra Max以74.1%登顶
65%已验证OS World是由卡内基梅隆大学等机构推出的评测基准,测试AI智能体在真实操作系统环境中执行复杂任务的能力
65%待验证Claude第一次推出计算机使用能力时,OS World得分还不到30%
80%待验证OS World基准测试由学术界于2024年提出,专门测试AI模型在真实操作系统环境中完成复杂任务的能力
80%待验证人类在OS World测试中的平均得分约为72-74%
70%待验证上一代Sonnet 4.5在OS World Verified基准测试中得分61.4%
60%待验证在OS World基准上,Muse Wonderful得分78.4,Muse Wonder得分72.6,Fable 5.1为80,Astra为75,Opus为81。
50%待验证Haiku 5.5在Computer Use任务上比GPT-6 Luna高出约40%
50%待验证Haiku 5.5 在计算机使用(computer use)任务上的得分从 16% 跃升至 72%
50%待验证在 OS World 评测上,不到 12 个月前 Claude 得分不到 50%,而 Opus 4.7 已报告 78%
50%待验证OS World将CUA战场从网页扩展到完整桌面操作,支持Linux、Windows等多种应用,成为最标准的CUA基准之一
50%待验证在 OS World 计算机操作测试中,Luna 得分 53%,而 Astra 达到 73%
50%待验证该模型官方跑分为SWE Bench Pro 61.7、LiveCode Bench V6 90.3、OS World 84.3
50%待验证NextN 2.5 的 OS World 成绩达到 56.4(官方口径),但权重标注 Coming soon,仅提供免费托管端点,无法独立复现
50%待验证Meta在展示OS World榜单成绩时使用了不同时间段的测试集与旧版模型对比,人为放大了进步幅度
50%待验证在Terminal-Bench 4.0上,Claude 5.1标准版得分55.8%,受信版达到60.9%;OS World 2.0部分完成率为77.9%
50%待验证相比上一代Qwen3.6-27B,Qwen3.8-27B在多项测试上大幅提升,其中Deep SWE从13.3提升到42.2(接近三倍),OS World从63.9提升到84.3
50%待验证OS World由卡内基梅隆大学等机构开发,要求模型在真实操作系统虚拟机中完成实际操作任务
50%