[控场AI]
· 3 分钟阅读· 1,930 字

计算机使用智能体:具身智能的通用新范式

计算机使用智能体:具身智能的通用新范式

研究表明计算机使用智能体可迁移软件操作技能,胜任具身任务并具备通用潜力。

文章介绍了一项来自ECCV研讨会竞赛的研究,主张具身任务可重新表述为与数字软件的交互:研究者构建软件将物理环境视图渲染到屏幕并提供控制接口,使计算机使用智能体(CUA)通过截图与键鼠操作完成具身任务,从而绕过专用感知与运动模块的设计。团队用单一CUA设计、仅更换所交互软件,参加四个ECCV研讨会竞赛,分获第一、第二、第三和第六名,且未做竞赛特定调优。文章进一步分析技能迁移机理,指出观察、定位、点击与探索等交互原语在软件与物理任务间共享,并倡导将CUA作为具身通才,认为遵循其通用训练策略可使具身AI收敛到单一通用模型。

在人工智能的许多领域,通用模型已经逐步取代了手工设计的方法和专用架构。如今,这一趋势正在向具身AI蔓延。一项来自ECCV研讨会竞赛的研究提出,具身任务可以被重新表述为与数字软件的交互,而计算机使用智能体(CUA)凭借其在软件操作中习得的技能,能够直接迁移到物理环境中的任务,展现出作为“具身通才”的潜力。

计算机使用智能体示意图

从专用到通用:具身AI的范式转变

传统具身AI往往依赖针对特定任务设计的架构和手工特征,泛化能力有限。该研究的核心主张是:具身任务本质上可以看作是与数字软件的交互。具体来说,研究者构建了一类软件,将智能体对物理环境的视图渲染在屏幕上,并提供在环境中行动的控制接口。这样,一个计算机使用智能体(CUA)就能通过处理屏幕截图和键盘鼠标操作来完成具身任务,与操作普通软件的方式完全相同。

这一思路的巧妙之处在于,它绕过了为具身任务单独设计感知和运动控制模块的需要,直接复用了CUA在软件操作中积累的通用能力。

计算机使用智能体(Computer-Using Agent, CUA) 指能够像人类一样操作图形用户界面(GUI)的AI智能体。其典型工作循环是:截取当前屏幕画面,由视觉语言模型理解界面元素与任务状态,再输出鼠标点击、拖拽或键盘输入等低层动作,并与环境形成闭环交互。代表性工作包括基于大模型构建的网页/桌面操作智能体,它们通常在大量软件操作轨迹上训练,因而具备了元素定位、表单填写、多步规划等可复用的界面操作能力。

具身AI(Embodied AI) 则指智能体通过身体与物理或仿真环境交互来完成任务的智能形态,涵盖导航、操作、抓取等场景。传统方法多为每个任务单独设计感知模块与运动控制器,样本效率与泛化能力受限。CUA与具身AI的交集在于:二者都需要把高维视觉输入映射为序列化的动作决策,区别仅在于动作作用于屏幕坐标还是物理执行器。

跨竞赛验证:无需微调的通用性

为了验证这一想法,研究团队使用单一的CUA设计,仅改变所交互的软件,参加了四个ECCV研讨会竞赛,并分别获得了第一名、第二名、第三名和第六名的成绩,且未针对任何竞赛进行专门的智能体调优。

这些结果有力地表明,CUA在软件操作中学习到的技能——如视觉定位、精确点击和探索——已经能够迁移到具身任务中。这赋予了CUA在具身AI领域远比以往认知更广阔的应用范围。

ECCV研讨会竞赛 指在欧洲计算机视觉会议(ECCV)各专题研讨会上举办的评测挑战赛,多聚焦具身导航、视觉语言导航、物体操作等前沿子问题。这类竞赛通常提供统一的仿真环境、任务定义与评测协议,参赛者需在未见过的场景与指令上提交模型。由于不同研讨会的竞赛在观测形式、动作空间和任务目标上差异很大,单一模型能同时参赛并取得名次,本身就构成了跨任务泛化能力的有力证据。

技能迁移:从软件操作到物理交互

为什么软件操作技能能迁移到具身任务?关键在于两者共享相似的交互原语:观察屏幕(视觉感知)、移动光标(定位与导航)、点击(动作执行)以及探索界面(试错学习)。CUA在这些原语上经过大规模软件环境训练,形成了鲁棒的视觉定位和精确控制能力。当物理环境被映射为屏幕上的软件界面时,这些能力便自然适用。

研究者认为,这种迁移不仅降低了具身AI的开发门槛,还暗示了一条通往通用具身智能的路径。

交互原语(interaction primitives) 指构成复杂任务的最小动作—感知单元,例如定位目标、移动指针、执行点击、在界面中探索。认知科学与机器人学中早有观点认为,复杂技能可分解为共享的原语组合,迁移之所以可能,是因为不同任务复用了同一套原语。CUA在软件环境中经由海量轨迹训练,恰好把这些原语打磨得足够鲁棒;当物理环境被封装成界面后,原语层面的对应关系使策略无需重新学习底层控制即可复用。

迈向通用具身AI的路线图

基于上述发现,作者倡导计算机使用智能体可以作为具身通才(embodied generalists)。更进一步,他们提出,通过遵循使计算机使用智能体变得通用的训练策略,具身AI同样可以收敛到单一通用模型,从而开启通用具身AI的新时代。

这一观点与当前AI领域从专用模型向通用模型演进的宏观趋势一致。如果成立,未来具身智能的开发可能不再需要为每个任务定制硬件或算法,而是通过统一的软件接口和通用智能体实现快速适配。

项目网站提供了更多细节:https://pranjal2041.github.io/cua-embodied

#计算机使用智能体#具身AI#CUA#具身通才#通用模型#ECCV
分享:

相关推荐