概念视觉基础问题 / Visual Grounding Problem
Visual Grounding
计算机视觉与自然语言处理交叉领域中的核心问题,指将自然语言描述与视觉内容中的具体区域或元素进行对应定位的能力,在浏览器自动化中特指模型理解UI视觉状态的能力
时间轴 (近 90 天)
10月11日
Betrox AI引入视觉定位(Visual Grounding)与状态反馈机制,各worker实时监控屏幕状态并在传递上下文前验证当前任务是否成功
待验证50%
10月11日
视觉定位(Visual Grounding)在AI Agent领域特指模型将自然语言指令映射到屏幕上具体像素坐标或UI元素的能力
待验证50%
10月11日
桌面级Agent面对原始像素画面,需通过计算机视觉模型识别UI元素位置与状态,不同于依赖HTML结构或Accessibility Tree的浏览器内Agent
待验证50%