Gemini登陆Mac:AI可直接操作你的桌面应用

Gemini 登陆 macOS,新增 computer use 可跨应用执行多步骤任务。
Google 的 Gemini 应用正式登陆 macOS,并带来 computer use 能力,使其从聊天窗口升级为能够直接操作本地文件、桌面应用和网页的代理。Google 给出的典型场景包括加速跨应用工作流、自动填写表单、制作演示文稿和整理待售物品列表,共同点是多步骤且需要跨应用切换。文章指出,这标志着 AI 助手从对话界面延伸到操作系统层面,与仅限浏览器或对话的产品形成区别。但让 AI 直接操作电脑也带来权限与隐私问题,Google 未披露控制细节,用户能否中途接管或撤销操作将决定实际可用性。文章还认为 computer use 正成为 AI 助手竞争的新战场,其价值取决于对桌面环境的覆盖程度。

Google 的 Gemini 应用正式登陆 macOS,并带来了一项关键能力:computer use。这意味着它不再只是一个聊天窗口,而是能直接在你的本地文件、桌面应用和网页之间执行多步骤任务。
什么是 computer use?
根据 Google 的说法,这项功能让 Gemini 可以“在本地文件、桌面应用和网页上完成多步骤任务”。换句话说,你不需要手动在多个应用间切换、复制粘贴或重复点击,AI 可以代为操作。
这与此前仅限于浏览器或对话界面的 AI 助手有本质区别。computer use 把 AI 的触角伸向了操作系统层面,让模型能够感知并控制桌面环境。
“computer use”这一术语最早由 Anthropic 在 2024 年末随 Claude 3.5 Sonnet 的升级版推出,指模型通过截图识别屏幕内容、再输出鼠标点击与键盘输入指令来操作图形界面。其技术基础通常包括视觉理解(把界面像素转成可理解的结构)、动作规划(将高层任务拆解为点击、输入、滚动等原子操作)以及执行循环(观察结果、修正下一步)。由于模型不依赖应用提供的 API,理论上任何能在屏幕上显示的软件都可被操作,这也是它与传统 RPA(机器人流程自动化)脚本的根本差异——后者依赖固定的界面坐标或控件选择器,界面一改就可能失效。
它能帮你做什么?
Google 给出了几个典型场景:
- 加速工作流:将重复性的跨应用操作交给 Gemini 自动完成
- 填写表单:自动识别表单字段并填入信息
- 制作演示文稿:在本地应用中整理内容、生成幻灯片
- 列出待售物品:帮你把物品信息整理成商品列表
这些场景的共同点是“多步骤”和“跨应用”。单一步骤的任务用传统自动化工具也能完成,但多步骤任务往往需要人类在中间做判断和切换,而这正是 Gemini 想接手的部分。
对 Mac 用户意味着什么?
Mac 用户现在可以在自己的电脑上直接体验 Google 的 computer use 能力,而不必等待网页版或移动端的更新。对于日常需要在 Finder、浏览器、办公套件之间频繁切换的人来说,这可能会显著减少操作摩擦。
不过,让 AI 直接操作电脑也带来了权限和隐私方面的考量。用户需要明确 Gemini 能访问哪些文件和应用,以及如何在中途接管或撤销操作。Google 在发布信息中并未展开这些细节,实际体验中的控制粒度将决定这项功能的可用性。
让 AI 操作桌面会涉及 macOS 的两类系统权限:辅助功能(Accessibility)和屏幕录制(Screen Recording)。前者允许应用模拟点击与键击,后者允许读取屏幕内容用于视觉识别。用户通常在“系统设置 → 隐私与安全性”中逐项授权,并可在运行中随时撤销。此外,这类功能一般需要以某种“可见”方式运行,例如显示悬浮控制条或高亮当前操作区域,以便用户随时中断。判断控制粒度时,可以留意几个维度:是否支持逐步确认、是否有操作日志、能否限定可访问的文件夹范围,以及敏感操作(如删除文件、提交表单)是否会触发二次确认。
竞争格局
computer use 正在成为 AI 助手的新战场。让模型学会“使用电脑”而非仅仅“回答问题”,是通往更通用代理(agent)的必经之路。Gemini 在 macOS 上落地这一能力,说明 Google 正在把实验性功能推向真实用户环境。
对于开发者和重度用户而言,值得关注的是这项功能开放的程度——是仅限特定应用,还是覆盖整个桌面。这将直接影响它能否真正替代人工完成端到端的任务。
小结
Gemini for macOS 的 computer use 功能把 AI 助手从“对话”推向了“操作”。它能否兑现“多步骤任务自动化”的承诺,取决于实际的控制精度和用户信任度。Mac 用户现在就可以开始检验这一点。
背景补充
从技术路线看,computer use 类功能与“工具调用(function calling)”是两条互补路径。工具调用依赖应用主动暴露结构化接口,执行精确但覆盖范围受限于已接入的服务;computer use 则通过模拟人类操作来兜底那些没有 API 的遗留软件和网页。代价是可靠性更低——界面变化、弹窗干扰、加载延迟都可能导致动作失败,因此这类系统通常需要失败重试与状态校验机制。业界普遍认为,短期内两种方式会混合使用:优先调用 API,遇到无法接入的环节再回退到界面操作。这也解释了为什么“开放程度”和“覆盖范围”会成为评估此类功能的核心指标。
相关推荐

AI写代码越来越便宜,真正难的是验证
生成代码越来越便宜,软件团队的瓶颈转向验证。结合萨提亚·纳德拉访谈,解析编程智能体的规格说明、多模型审查、权限分离与组织调整,以及工程师如何把一次修复沉淀为团队可复用的能力。

Saparo:自动叠加优惠的购物AI代理,登顶Product Hunt
Saparo 是一款自动叠加优惠的购物 AI 代理,登顶 Product Hunt。它能搜索同款、匹配尺码、组合促销码与返现,按含运费税费的总成本排序,最终支付由用户完成。

Tripmojo:会帮你值机的AI旅行Agent
Tripmojo是Product Hunt上排名第2的AI旅行Agent应用,能同步预订邮件生成共享行程,并由AI助手Mojo在出行当天尝试值机、保存登机牌、提醒延误与登机口变更,行程中维护计划并分摊费用,iOS与Android免费。