UFO
微软研究院推出的Windows图形界面智能体，能够理解Windows应用界面并自动执行用户指令，属于GUI自动化Agent领域的重要工作
时间轴 (近 90 天)
GPT-6 Astra的技术路线与Anthropic的Claude Computer Use、微软的UFO项目思路相近
微软 Research 的 UFO（UI-Focused Agent）结合了 GUI 元素检测和任务规划能力
浏览器操作型AI Agent的早期代表包括Adept AI的ACT-1和微软的UFO
基于视觉理解的移动端自动化方案代表包括Google DeepMind的CogAgent、微软的UFO项目以及Apple Intelligence中的App Intents框架
OpenAI 的 Operator、Anthropic 的 Computer Use 以及微软的 UFO Agent 框架均将 Accessibility Tree 作为主要的页面感知通道
全部知识事实 (9)
微软的UFO（专注Windows应用操控）、SeeAct（基于网页截图的操作预测）、OS-Copilot（通用操作系统代理框架）等开源学术项目为Computer Use技术发展提供了基础
85%待验证微软于2024年初开源了UFO（UI-Focused Agent）项目，基于GPT-4V的多模态能力，采用双Agent架构（AppAgent和HostAgent）
85%待验证微软开发了UFO（UI-Focused Agent）开源项目
75%待验证微软研究院推出了UFO项目，聚焦于Windows系统上的GUI Agent
70%待验证GPT-6 Astra的技术路线与Anthropic的Claude Computer Use、微软的UFO项目思路相近
50%待验证微软 Research 的 UFO（UI-Focused Agent）结合了 GUI 元素检测和任务规划能力
50%待验证浏览器操作型AI Agent的早期代表包括Adept AI的ACT-1和微软的UFO
50%待验证基于视觉理解的移动端自动化方案代表包括Google DeepMind的CogAgent、微软的UFO项目以及Apple Intelligence中的App Intents框架
50%待验证OpenAI 的 Operator、Anthropic 的 Computer Use 以及微软的 UFO Agent 框架均将 Accessibility Tree 作为主要的页面感知通道
50%