概念computer-use agent / Computer Use Agent
计算机使用代理
通过观察屏幕（截图或无障碍树）并模拟鼠标键盘操作来自动完成GUI任务的AI代理，需要理解屏幕内容并决定下一步操作
时间轴 (近 90 天)
10月14日
在计算机使用代理的执行顺序中，应树优先（列出有名称、角色和位置的交互元素），文本其次（树无标签时对窗口做OCR匹配可见文本），截图最后（用于画布、无名称图标或页面校验）。
待验证50%
通过观察屏幕（截图或无障碍树）并模拟鼠标键盘操作来自动完成GUI任务的AI代理，需要理解屏幕内容并决定下一步操作
在计算机使用代理的执行顺序中，应树优先（列出有名称、角色和位置的交互元素），文本其次（树无标签时对窗口做OCR匹配可见文本），截图最后（用于画布、无名称图标或页面校验）。