Browser Use
开源的事件驱动AI Agent框架,核心能力是让LLM根据自然语言任务描述自主驱动浏览器操作,支持多LLM供应商,采用分层解耦架构,整合浏览器控制、工具注册、Skills、Sandbox和MCP
核心事实
时间轴 (近 90 天)
主流浏览器Agent框架如Playwright Agent、Browser Use普遍采用可访问性树与视觉截图相结合的方案处理复杂UI
安装 BrowserUse 插件后 Codex 能自动打开浏览器、访问网站、点击、填表、截图、录屏、抓取信息;配合 computer use 插件可操控整台电脑
AI浏览器智能体领域的代表性产品包括Anthropic的Computer Use、Google的Project Mariner以及独立产品Browser Use
与 RPA 不同,Browser Use 不依赖预先录制的固定脚本,而是让模型实时理解页面语义,因此对页面改版的适应性更强
Browser Use开发者将Browser Use与Jev结合完成自动订票,从打开Google Flights到筛选最便宜航班整个流程仅耗时约7秒,成本约0.0039美元
Browser Use 公布的航班搜索案例中,使用 JEF 的中位耗时从 9.45 秒降到约 7.09 秒
Browser Use 相比无头浏览器脚本(如 Selenium、Playwright)的优势在于可利用已有的登录态,无需重新处理验证码或 OAuth 流程
一条 Twitter 评论称 Browser Use 是作者见过的最佳应用
在 Browser Use 结合架构中,Jev 负责结构化决策,另一个小语言模型(演示中用 Mercury 2.5)负责生成文本输入,浏览器代码负责执行动作
Browser Use、Browserbase 等框架封装了 LLM 调用层,以自然语言驱动浏览器操作
还有 6 条时间轴事件
全部知识事实 (20)
OpenAI的Operator项目专注于浏览器自动化操作
90%已验证Browser Use底层通过Playwright驱动浏览器操作,借助大语言模型理解用户意图并逐步生成执行动作
80%已验证Browser Use是一个开源的AI网页自动化智能体(Agent),允许用户通过自然语言指令控制浏览器
80%已验证Browser Use提供DOM模式和视觉模式两种页面理解方式
80%已验证浏览器自动化Agent通过DOM解析、视觉识别或无障碍树(Accessibility Tree)来定位网页元素并模拟人类操作
75%已验证DeepSeek Harness支持代码与文件系统操作、开发任务支持、协作与项目规划以及信息获取能力
65%已验证Accessibility 树相比原始 HTML DOM 过滤了大量纯视觉样式信息,保留语义层面的可交互元素,能在降低 token 消耗的同时提升 Agent 感知准确性
65%已验证Browser Use 提供三种交互方式:命令行(CLI)、代码调用(Python API)以及在线云服务
65%已验证Browser Use支持通过CDP(Chrome DevTools Protocol)或WebSocket连接到已有的浏览器实例,复用已有的登录状态和Cookie
65%待验证Browser Use 采用结构化返回(Structured Output)的方式与大模型交互,而非传统的 Function Calling
95%待验证Browser Use 内置了十余种常用工具,涵盖搜索、点击、输入、截图等操作,并支持灵活的增删定制
90%待验证Browser Use 早期版本基于 Playwright 实现浏览器控制,最新版本已切换到 CDP(Chrome DevTools Protocol)
90%待验证Browser Use官方全面采用异步(async/await)方式编写代码,与Playwright的异步API天然契合
90%待验证Browser Use的Web UI版本基于Node.js开发,默认运行在7788端口
90%待验证Browser Use引入LLM作为理解层,不再依赖XPath或CSS选择器等硬编码规则来提取网页信息
85%待验证Browser Use等大模型驱动工具在每一步操作时需要将当前页面的DOM结构或截图发送给大模型进行推理,一个典型网页DOM序列化后可能超过数万Token
80%待验证阿里云曾在其技术文章中提到使用 Browser Use 作为核心智能体方案
80%待验证Browser Use的隔离环境(Sandbox)设计使AI操作的是一个独立的浏览器实例,与用户本机的浏览器会话完全隔离
75%待验证让同一个 AI 既写代码又测试代码,本质上是自己批改自己的作业,可能系统性忽略认知盲区中的 bug
70%待验证Browser Use 采用事件驱动分层解耦架构,核心分为 Agent 层、LLM 层、Tools(Registry) 层和 Browser 层四层
60%