Computer Use
Computer Use是一种使AI模型能够像人类用户一样操作计算机图形界面的技术能力。其核心机制包括：通过屏幕截图感知当前界面状态、识别UI控件与交互元素、执行鼠标点击和键盘输入等原子操作。该技术使AI能够跨应用程序自主完成复杂任务，无需专用API接口，广泛应用于自动化工作流、软件测试及智能代理系统等场景。
Core Facts
Timeline (last 90 days)
OpenAI、Anthropic等公司在积极推进「计算机使用」（Computer Use）能力的训练
Computer Use通过多模态大模型直接查看屏幕截图来理解界面布局和内容语义，与传统RPA依赖预定义规则和固定UI元素定位的方式有本质区别
AI自动填表将用户角色从高认知负担的内容生成者转变为低负担的内容审核者
本文介绍了10个AI编程插件，涵盖视频动画、产品开发和通用办公三大类场景
OpenAI 对 Computer Use 功能进行了性能更新，运行速度提升了 42%
Computer Use 功能可以直接操控桌面，不限于浏览器操作
Codex的Computer Use功能现在支持多线程并行，可同时运行多个代理线程互不干扰
Codex的Computer Use电脑操控功能速度提升了20%
Anthropic的Claude Computer Use和Google的Project Mariner也在电脑智能体同一赛道上竞争
Anthropic推出了Computer Use功能让AI直接操作桌面应用
40 more timeline events
All Facts (8)
Anthropic于2024年率先在Claude中推出Computer Use功能
90%UnverifiedAI自动填表将用户角色从高认知负担的内容生成者转变为低负担的内容审核者
85%UnverifiedOpenAI、Anthropic等公司在积极推进「计算机使用」（Computer Use）能力的训练
85%VerifiedAnthropic推出了Computer Use功能让AI直接操作桌面应用
80%Partially Verified2024年10月，Anthropic率先发布了Claude的Computer Use功能，允许AI通过截图识别和模拟鼠标键盘操作来控制桌面应用
75%Verified本文介绍了10个AI编程插件，涵盖视频动画、产品开发和通用办公三大类场景
70%VerifiedComputer Use通过多模态大模型直接查看屏幕截图来理解界面布局和内容语义，与传统RPA依赖预定义规则和固定UI元素定位的方式有本质区别
65%Partially VerifiedComputer Use是Anthropic于2024年率先推出、随后被OpenAI等跟进的AI能力，允许模型像人类一样操作图形界面应用
65%