Computer Use
Computer Use是一种使AI模型能够像人类用户一样操作计算机图形界面的技术能力。其核心机制包括：通过屏幕截图感知当前界面状态、识别UI控件与交互元素、执行鼠标点击和键盘输入等原子操作。该技术使AI能够跨应用程序自主完成复杂任务，无需专用API接口，广泛应用于自动化工作流、软件测试及智能代理系统等场景。
核心事实
时间轴 (近 90 天)
Codex 提供 Computer Use 插件，其作用是让 Codex 直接操作用户的电脑。
Codex 必装插件有两个：Computer Use（可调用电脑里的 App，自动截图、读取窗口内容）和一款做可视化图表的黑色插件（改版后从公开界面消失，只能通过搜索找到，实测做动态图表一次成功）。
Hermes第二层工具需要按需配置开启，包括WebSearch/WebExtract（联网搜索与抓取）、Vision Analyze（视觉理解）、Video Analyze（视频理解）、STT/TTS（语音交互）、Browser Exec（浏览器自动化）和Computer Use（桌面控制）。
Computer Use不再只依赖单一动作循环，而是直接编写JavaScript代码在浏览器环境中批量执行多步操作，并融合截图、无障碍树和Playwright等多种模态信息。
Agents API中内置了Computer Use，开发者可以直接调用与Codex、ChatGPT同源的实现，避免自研harness的高门槛。
在安全层面，Ari建议开发者只授予任务必需的网站和应用访问权限，在执行支付等关键操作前请求用户确认，并通过可靠性设计逐步建立用户信任。
早期计算机操作智能体模型能可靠地开始任务，但随后常遇到弹窗、加载延迟或页面结构变化等问题而卡住。
在订阅定制餐食服务的任务中，人工操作需要两小时，而Computer Use在GPT-6.1 Sol上15分钟完成，速度约为人工的八倍。
当前Computer Use模型学会了重试、自查，并能判断哪里不对，从而提升了调试能力。
OpenSense支持浏览器操作和Computer Use，可自动下载论文、收集数据；若有GPU资源，可直接在本地跑计算验证论文数据。
还有 40 条时间轴事件
全部知识事实 (20)
GPT-6 Astra能够操作建模软件和游戏引擎，具备看屏幕、点击界面、检查作品并继续修改的代理能力
90%已验证Anthropic推出了Computer Use功能让AI直接操作桌面应用
90%已验证OpenAI的Operator项目专注于浏览器自动化操作
90%已验证Anthropic的Computer Use功能允许Claude模型直接操控整个计算机桌面环境，包括移动鼠标、点击按钮和输入文字
90%已验证Computer Use是一项允许AI模型通过截屏识别屏幕内容并模拟鼠标点击、键盘输入来直接控制计算机界面的能力
90%已验证Anthropic于2024年率先在Claude中推出Computer Use功能
90%已验证OpenAI的GPT-4o with Tools和Anthropic的Claude Computer Use是AI Agent方向的代表性实现
85%已验证Perplexity的'Computer'功能属于AI Agent范畴，让AI模型能够操作计算机界面，包括点击按钮、填写表单、浏览网页、执行文件操作
80%已验证OpenAI的Operator和Google的Project Mariner也在探索AI操控计算机的类似路径
80%已验证Anthropic在其Claude模型中推出了Computer Use功能，允许AI模型直接与计算机桌面环境进行交互
80%已验证Computer Use技术最早由Anthropic在2024年10月随Claude 3.5 Sonnet发布时公开展示
80%已验证2024年10月，Anthropic率先发布了Claude的Computer Use功能，允许AI通过截图识别和模拟鼠标键盘操作来控制桌面应用
80%已验证Anthropic的Claude加入了「Computer Use」功能
80%已验证Anthropic于2024年率先推出Claude Computer Use功能，OpenAI随后发布了Operator产品
80%已验证2024年Anthropic发布了Claude的Computer Use功能，通过截图理解屏幕内容并用坐标定位模拟鼠标键盘操作
75%已验证当前AI智能体操作网页主要依赖两种技术路径：计算机视觉（将页面截图输入多模态大模型识别UI元素）和DOM解析（读取HTML结构树推断元素功能）
75%已验证Anthropic的Claude推出了原生桌面客户端并引入了Computer Use能力，能够直接操作用户的桌面应用
75%已验证Computer Use能力由Anthropic在Claude 3.5中率先商业化落地，随后OpenAI跟进
75%已验证GUI智能体技术底层依赖视觉语言模型的屏幕理解能力与动作规划模块协同：先对屏幕截图进行语义理解识别界面元素，再由规划模块生成具体指令序列执行
70%已验证Computer Use是Anthropic于2024年率先推出、随后被OpenAI等跟进的AI能力，允许模型像人类一样操作图形界面应用
70%