待验证50% 置信权衡取舍精确时间
GUI Agent不依赖接口，通过让模型直接看屏幕截图识别界面元素并规划操作步骤，泛化性强但对多模态理解能力要求高且操作速度相对较慢
1
来源数
50%
置信度
长期有效
时效性
2026/9/16
首次发现
来源
涉及实体
相关事实
待验证基于视觉语言模型的新一代GUI Agent理论上能像人类一样看懂任意界面并根据语义目标决定操作，具备更强鲁棒性和跨应用泛化能力79% 相似待验证GUI Agent（能理解屏幕截图并生成鼠标键盘操作指令）是Anthropic Claude、OpenAI Operator等产品竞相布局的核心能力74% 相似待验证Computer-use能力允许Agent直接操控桌面GUI界面，是Anthropic基于Claude模型视觉理解能力构建的差异化特性72% 相似待验证计算机使用（GUI Agent）能力的底层原理是让模型通过截图理解屏幕状态并输出鼠标点击、键盘输入等操作指令，形成感知-决策-执行闭环72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/925847API
curl https://kongchang.com/api/v1/knowledge/claims/925847MCP
get_claim(id=925847)