待验证50% 置信事实精确时间

GUI Agent通过截图理解屏幕状态并输出鼠标键盘操作指令，无需目标应用提供结构化接口

1

来源数

50%

置信度

长期有效

时效性

2026/7/12

首次发现

来源

ChatGPT Work正式发布：GPT-5.6如何重塑你的工作方式

bilibiliGoldenSpiderAI2026/7/9

相关事实

待验证Computer Use通过截图识别与模拟鼠标键盘输入，允许Claude操控任意GUI应用而无需专用API接口78% 相似待验证GUI智能体技术底层依赖视觉语言模型的屏幕理解能力与动作规划模块协同：先对屏幕截图进行语义理解识别界面元素，再由规划模块生成具体指令序列执行76% 相似待验证BuildBuddy具备上下文感知能力，无需用户说明当前位置，通过屏幕分析即可知道用户打开的是什么界面72% 相似待验证GUI智能体的界面元素识别通常结合目标检测（Object Detection）定位UI组件位置和OCR文字识别读取界面文字两种技术69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/494256

API

curl https://kongchang.com/api/v1/knowledge/claims/494256

MCP

get_claim(id=494256)