Computer Use
Computer Use是一种使AI模型能够像人类用户一样操作计算机图形界面的技术能力。其核心机制包括：通过屏幕截图感知当前界面状态、识别UI控件与交互元素、执行鼠标点击和键盘输入等原子操作。该技术使AI能够跨应用程序自主完成复杂任务，无需专用API接口，广泛应用于自动化工作流、软件测试及智能代理系统等场景。
核心事实
时间轴 (近 90 天)
直播中 Agent 遇到了 Chrome 连接器报错、Computer Use 需要反复重启会话才能生效、Codex 和 ChatGPT 应用的权限彼此独立需要分别配置等摩擦点。
安装Computer Use插件（目前仅Mac支持），Codex能操控电脑上的其他应用，比如打开浏览器搜索并下载内容。
该方案通过 ChatGPT tasks 把离散的 Pi 会话组织成持续运行的流程，并用 MCP 工具和 Computer Use 补齐能力缺口。
Computer Use 的可靠性通常低于结构化工具调用，速度也更慢，但它的覆盖面几乎不受限制。
Computer Use 每一步操作都需要截屏、识别、决策、执行，循环链路长，导致速度慢；界面元素识别可能出错，弹窗、加载延迟、动态布局都会引入不确定性。
计算机使用（computer use）能力让模型通过截图或读取界面可访问性树观察屏幕状态，然后输出点击坐标、键盘输入等操作指令
当前主流的Agent产品如OpenAI的Operator和Anthropic的Computer Use均不同程度引入了HITL检查点
计算机使用（Computer Use）能力让AI模型像人类操作员一样直接控制操作系统界面，与依赖预先编写API接口的工具调用（Function Calling）有本质区别
传统RPA依赖预先定义的界面结构，而Computer Use可以泛化到任意未曾见过的页面，因为模型理解的是视觉语义而非固定的DOM路径
Grok Bot 的屏幕操作能力属于「计算机使用（Computer Use）」范畴，Anthropic 的 Claude 3.5 Sonnet 于 2024 年率先发布该能力的公开预览
还有 40 条时间轴事件
全部知识事实 (20)
GPT-6 Astra能够操作建模软件和游戏引擎，具备看屏幕、点击界面、检查作品并继续修改的代理能力
90%已验证Anthropic推出了Computer Use功能让AI直接操作桌面应用
90%已验证OpenAI的Operator项目专注于浏览器自动化操作
90%已验证Anthropic的Computer Use功能允许Claude模型直接操控整个计算机桌面环境，包括移动鼠标、点击按钮和输入文字
90%已验证Computer Use是一项允许AI模型通过截屏识别屏幕内容并模拟鼠标点击、键盘输入来直接控制计算机界面的能力
90%已验证Anthropic于2024年率先在Claude中推出Computer Use功能
90%已验证Perplexity的'Computer'功能属于AI Agent范畴，让AI模型能够操作计算机界面，包括点击按钮、填写表单、浏览网页、执行文件操作
80%已验证OpenAI的Operator和Google的Project Mariner也在探索AI操控计算机的类似路径
80%已验证Anthropic在其Claude模型中推出了Computer Use功能，允许AI模型直接与计算机桌面环境进行交互
80%已验证Computer Use技术最早由Anthropic在2024年10月随Claude 3.5 Sonnet发布时公开展示
80%已验证2024年10月，Anthropic率先发布了Claude的Computer Use功能，允许AI通过截图识别和模拟鼠标键盘操作来控制桌面应用
80%已验证Anthropic的Claude加入了「Computer Use」功能
80%已验证Anthropic于2024年率先推出Claude Computer Use功能，OpenAI随后发布了Operator产品
80%已验证当前AI智能体操作网页主要依赖两种技术路径：计算机视觉（将页面截图输入多模态大模型识别UI元素）和DOM解析（读取HTML结构树推断元素功能）
75%已验证OpenAI、Anthropic已推出具备电脑操作能力的模型，如Anthropic Computer Use和OpenAI Operator
75%已验证Anthropic的Claude推出了原生桌面客户端并引入了Computer Use能力，能够直接操作用户的桌面应用
75%已验证Computer Use能力由Anthropic在Claude 3.5中率先商业化落地，随后OpenAI跟进
75%已验证OpenAI的GPT-4o with Tools和Anthropic的Claude Computer Use是AI Agent方向的代表性实现
75%已验证GUI智能体技术底层依赖视觉语言模型的屏幕理解能力与动作规划模块协同：先对屏幕截图进行语义理解识别界面元素，再由规划模块生成具体指令序列执行
70%已验证Computer Use是Anthropic于2024年率先推出、随后被OpenAI等跟进的AI能力，允许模型像人类一样操作图形界面应用
70%