模型
CogAgent
专门针对GUI操作训练的视觉语言模型，能够理解屏幕截图并执行桌面自动化操作，支持视觉定位与UI元素交互
时间轴 (近 90 天)
8月26日
基于视觉理解的移动端自动化方案代表包括Google DeepMind的CogAgent、微软的UFO项目以及Apple Intelligence中的App Intents框架
待验证50%
专门针对GUI操作训练的视觉语言模型，能够理解屏幕截图并执行桌面自动化操作，支持视觉定位与UI元素交互
基于视觉理解的移动端自动化方案代表包括Google DeepMind的CogAgent、微软的UFO项目以及Apple Intelligence中的App Intents框架