Computer Use
Computer Use是一种使AI模型能够像人类用户一样操作计算机图形界面的技术能力。其核心机制包括：通过屏幕截图感知当前界面状态、识别UI控件与交互元素、执行鼠标点击和键盘输入等原子操作。该技术使AI能够跨应用程序自主完成复杂任务，无需专用API接口，广泛应用于自动化工作流、软件测试及智能代理系统等场景。
核心事实
时间轴 (近 90 天)
Perplexity 的 Computer 模式是一种 Agent 执行模式，其设计灵感部分来源于 Anthropic 推出的 Computer Use 功能
Anthropic 的 Computer Use 功能在 2024 年首次向外界展示了 LLM 直接操控计算机界面的能力
Anthropic宣布Computer Use、Skills API与Files API正式转正（GA），去掉Beta标头
Anthropic宣布Computer Use、Skills API与Files API正式转正（GA），并推出基于网页无障碍树解析的Browser Use工具集，为每个组织提供专用文件存储空间与5倍速率上限
Anthropic Computer Use、Adept ACT-1等方案试图让AI完全接管用户界面操作，属于自主操作层
Anthropic 的 Computer Use API 将浏览器操作能力封装为云服务，允许开发者通过 API 调用让 Claude 模型直接操控虚拟桌面环境
2024年以来，随着多模态大模型能力提升，Browser Use、WebVoyager、Anthropic的Computer Use等项目相继出现
2024-2025年，各大实验室竞相推出Agent框架，从AutoGPT到Anthropic的Computer Use，AI正从被动回答问题向主动执行任务转变
OpenAI的'Operator'、Anthropic的'Computer Use'以及Google的'Project Mariner'等项目都在探索AI代理在不同场景中的应用形态
与传统RPA不同，Computer Use不依赖预先编写的固定脚本，而是通过视觉理解和语义推理实时决策
还有 24 条时间轴事件
全部知识事实 (20)
OpenAI的Operator项目专注于浏览器自动化操作
90%已验证Anthropic的Computer Use功能允许Claude模型直接操控整个计算机桌面环境，包括移动鼠标、点击按钮和输入文字
90%已验证Computer Use是一项允许AI模型通过截屏识别屏幕内容并模拟鼠标点击、键盘输入来直接控制计算机界面的能力
90%已验证Anthropic于2024年率先在Claude中推出Computer Use功能
90%已验证Anthropic推出了Computer Use功能让AI直接操作桌面应用
80%已验证OpenAI的Operator和Google的Project Mariner也在探索AI操控计算机的类似路径
80%已验证2024年10月，Anthropic率先发布了Claude的Computer Use功能，允许AI通过截图识别和模拟鼠标键盘操作来控制桌面应用
75%已验证Computer Use是Anthropic于2024年率先推出、随后被OpenAI等跟进的AI能力，允许模型像人类一样操作图形界面应用
70%已验证当前AI智能体操作网页主要依赖两种技术路径：计算机视觉（将页面截图输入多模态大模型识别UI元素）和DOM解析（读取HTML结构树推断元素功能）
65%已验证Computer Use通过多模态大模型直接查看屏幕截图来理解界面布局和内容语义，与传统RPA依赖预定义规则和固定UI元素定位的方式有本质区别
65%已验证Anthropic在2024年率先发布了Claude Computer Use功能，Google也推出了Project Mariner
65%待验证AI自动填表将用户角色从高认知负担的内容生成者转变为低负担的内容审核者
85%待验证AI桌面代理领域正从API集成走向GUI操作的趋势
75%待验证Anthropic 的 Computer Use 功能在 2024 年首次向外界展示了 LLM 直接操控计算机界面的能力
50%待验证Perplexity 的 Computer 模式是一种 Agent 执行模式，其设计灵感部分来源于 Anthropic 推出的 Computer Use 功能
50%待验证Anthropic Computer Use、Adept ACT-1等方案试图让AI完全接管用户界面操作，属于自主操作层
50%待验证Anthropic 的 Computer Use API 将浏览器操作能力封装为云服务，允许开发者通过 API 调用让 Claude 模型直接操控虚拟桌面环境
50%待验证OpenAI的'Operator'、Anthropic的'Computer Use'以及Google的'Project Mariner'等项目都在探索AI代理在不同场景中的应用形态
50%待验证当前的Computer Use类技术面临可靠性不足、安全与权限风险、复杂任务泛化能力有限等挑战
50%待验证Computer Use类技术的底层原理结合了计算机视觉（理解屏幕截图像素信息）和大语言模型的推理能力
50%