Computer Use
Computer Use是一种使AI模型能够像人类用户一样操作计算机图形界面的技术能力。其核心机制包括：通过屏幕截图感知当前界面状态、识别UI控件与交互元素、执行鼠标点击和键盘输入等原子操作。该技术使AI能够跨应用程序自主完成复杂任务，无需专用API接口，广泛应用于自动化工作流、软件测试及智能代理系统等场景。
Core Facts
Timeline (last 90 days)
Anthropic宣布Computer Use、Skills API与Files API正式转正（GA），并推出基于网页无障碍树解析的Browser Use工具集，为每个组织提供专用文件存储空间与5倍速率上限
Anthropic Computer Use、Adept ACT-1等方案试图让AI完全接管用户界面操作，属于自主操作层
Anthropic 的 Computer Use API 将浏览器操作能力封装为云服务，允许开发者通过 API 调用让 Claude 模型直接操控虚拟桌面环境
2024年以来，随着多模态大模型能力提升，Browser Use、WebVoyager、Anthropic的Computer Use等项目相继出现
2024-2025年，各大实验室竞相推出Agent框架，从AutoGPT到Anthropic的Computer Use，AI正从被动回答问题向主动执行任务转变
OpenAI的'Operator'、Anthropic的'Computer Use'以及Google的'Project Mariner'等项目都在探索AI代理在不同场景中的应用形态
Computer Use类技术的底层原理结合了计算机视觉（理解屏幕截图像素信息）和大语言模型的推理能力
当前的Computer Use类技术面临可靠性不足、安全与权限风险、复杂任务泛化能力有限等挑战
与传统RPA不同，Computer Use不依赖预先编写的固定脚本，而是通过视觉理解和语义推理实时决策
Anthropic的Computer Use在2024年10月随Claude 3.5 Sonnet推出，直接操控桌面环境的鼠标和键盘
20 more timeline events
All Facts (20)
OpenAI的Operator项目专注于浏览器自动化操作
90%VerifiedAnthropic的Computer Use功能允许Claude模型直接操控整个计算机桌面环境，包括移动鼠标、点击按钮和输入文字
90%VerifiedComputer Use是一项允许AI模型通过截屏识别屏幕内容并模拟鼠标点击、键盘输入来直接控制计算机界面的能力
90%VerifiedAnthropic于2024年率先在Claude中推出Computer Use功能
90%VerifiedAnthropic推出了Computer Use功能让AI直接操作桌面应用
80%VerifiedOpenAI的Operator和Google的Project Mariner也在探索AI操控计算机的类似路径
80%Verified2024年10月，Anthropic率先发布了Claude的Computer Use功能，允许AI通过截图识别和模拟鼠标键盘操作来控制桌面应用
75%VerifiedComputer Use是Anthropic于2024年率先推出、随后被OpenAI等跟进的AI能力，允许模型像人类一样操作图形界面应用
70%Verified当前AI智能体操作网页主要依赖两种技术路径：计算机视觉（将页面截图输入多模态大模型识别UI元素）和DOM解析（读取HTML结构树推断元素功能）
65%VerifiedComputer Use通过多模态大模型直接查看屏幕截图来理解界面布局和内容语义，与传统RPA依赖预定义规则和固定UI元素定位的方式有本质区别
65%VerifiedAnthropic在2024年率先发布了Claude Computer Use功能，Google也推出了Project Mariner
65%UnverifiedAI自动填表将用户角色从高认知负担的内容生成者转变为低负担的内容审核者
85%UnverifiedAI桌面代理领域正从API集成走向GUI操作的趋势
75%UnverifiedAnthropic Computer Use、Adept ACT-1等方案试图让AI完全接管用户界面操作，属于自主操作层
50%UnverifiedAnthropic 的 Computer Use API 将浏览器操作能力封装为云服务，允许开发者通过 API 调用让 Claude 模型直接操控虚拟桌面环境
50%UnverifiedOpenAI的'Operator'、Anthropic的'Computer Use'以及Google的'Project Mariner'等项目都在探索AI代理在不同场景中的应用形态
50%Unverified当前的Computer Use类技术面临可靠性不足、安全与权限风险、复杂任务泛化能力有限等挑战
50%UnverifiedComputer Use类技术的底层原理结合了计算机视觉（理解屏幕截图像素信息）和大语言模型的推理能力
50%Unverified与传统RPA不同，Computer Use不依赖预先编写的固定脚本，而是通过视觉理解和语义推理实时决策
50%UnverifiedComputer Use 因截图识别和坐标计算消耗大量token、速度慢于API调用，更适合作为其他自动化手段的补充
50%