待验证50% 置信事实精确时间
桌面级Agent面对原始像素画面，需通过计算机视觉模型识别UI元素位置与状态，不同于依赖HTML结构或Accessibility Tree的浏览器内Agent
1
来源数
50%
置信度
长期有效
时效性
2026/10/11
首次发现
来源
涉及实体
相关事实
待验证视觉模型接收每张屏幕截图并输出结构化信息，包括OCR识别文本、页面布局、UI控件的像素坐标框及元素状态79% 相似待验证基于视觉/AI 的测试工具不依赖平台特定的 DOM/Accessibility/UI Automation 树，而通过计算机视觉、OCR、目标检测模型和图像匹配算法直接识别屏幕内容78% 相似待验证主流浏览器Agent框架如Playwright Agent、Browser Use普遍采用可访问性树与视觉截图相结合的方案处理复杂UI72% 相似待验证Computer Use通过将屏幕截图作为视觉输入，模型识别UI元素后输出鼠标点击或键盘操作指令，与依赖DOM结构的Selenium、Playwright有本质区别72% 相似待验证GUI自动化的核心技术路径有两条：基于视觉的截图理解和基于可访问性树的DOM解析72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/999131API
curl https://kongchang.com/api/v1/knowledge/claims/999131MCP
get_claim(id=999131)