[控场AI]
概念图形用户界面定位

GUI grounding

GUI智能体的基础任务,指根据自然语言指令在界面截图中定位对应可交互元素并输出坐标以执行点击

时间轴 (近 90 天)

10月26日

Computer use 的实现通常依赖屏幕理解(GUI grounding)和动作序列规划(action planning)两类底层技术。

待验证50%
10月26日

GUI grounding是GUI智能体领域的基础任务,指给定自然语言指令,智能体在界面截图中定位对应可交互元素并输出坐标以执行点击。

待验证50%
10月19日

ScreenRef 提供了数百万张GUI截图与文本描述的配对数据,基于该数据训练的模型在屏幕任务基准上刷新了纪录。

待验证50%

全部知识事实 (3)

来源文章