Concept
GUI Agent
GUI Agent（图形用户界面代理）是一种能够感知并操作图形用户界面的人工智能代理技术。它通过截图、视觉理解等方式感知屏幕状态，模拟鼠标点击、键盘输入等人机交互操作，从而自主完成软件操作、网页浏览、表单填写等任务。其核心特征在于无需专用API接口，能像人类用户一样直接与任意可视化软件环境交互。
Timeline (last 90 days)
Sep 13
纯视觉方案相比直接调用游戏API或读取内存的传统方案信息损耗更大，但对现实软件环境的迁移性更强
Unverified50%
Sep 13
基于视觉语言模型的新一代GUI Agent理论上能像人类一样看懂任意界面并根据语义目标决定操作，具备更强鲁棒性和跨应用泛化能力
Unverified50%
Sep 1
阿里推出一款专门操作图形界面的GUI Agent模型，覆盖手机、电脑和网页三大平台，能看懂屏幕内容并判断点击和输入操作
Unverified50%
Jul 20
GUI Agent（能理解屏幕截图并生成鼠标键盘操作指令）是Anthropic Claude、OpenAI Operator等产品竞相布局的核心能力
Unverified50%
All Facts (5)
Unverified
Computer Use类技术在学术界被归类为GUI Agent（图形界面智能体）
60%Unverified纯视觉方案相比直接调用游戏API或读取内存的传统方案信息损耗更大，但对现实软件环境的迁移性更强
50%Unverified基于视觉语言模型的新一代GUI Agent理论上能像人类一样看懂任意界面并根据语义目标决定操作，具备更强鲁棒性和跨应用泛化能力
50%UnverifiedGUI Agent（能理解屏幕截图并生成鼠标键盘操作指令）是Anthropic Claude、OpenAI Operator等产品竞相布局的核心能力
50%Unverified阿里推出一款专门操作图形界面的GUI Agent模型，覆盖手机、电脑和网页三大平台，能看懂屏幕内容并判断点击和输入操作
50%