[控场AI]
· 4 分钟阅读· 2,425 字

Omni-Workspace:全模态AI助手复杂任务评测新基准

Omni-Workspace:全模态AI助手复杂任务评测新基准

Omni-Workspace以380个长程多模态工作区任务评测全模态代理,最强模型仅得65.93分。

Omni-Workspace是一个面向全模态代理的复杂任务评测基准,包含380个深度研究式任务,覆盖四种多模态工作区类型与两个难度等级,要求代理跨文件、跨模态整合证据并产出符合要求的成果文件。研究团队评估了18个代表性模型,表现最好的模型平均得分仅65.93,显示长程多模态工作区执行能力普遍不足。分析识别出多模态上下文膨胀与任务状态漂移两类反复出现的瓶颈,并据此提出轻量级方法OmniFocus,通过多模态工作记忆管理与显式任务状态跟踪提升性能与效率。该基准将评测焦点从多模态理解推进到复杂任务完成,为全模态代理的开发提供了更贴近真实应用的标尺。

Omni-Workspace:全模态AI助手复杂任务评测新基准

当AI助手从“看懂图片”走向“在真实的多模态工作环境里完成任务”,评测标准也必须随之升级。现有全模态基准大多停留在感知与理解层面,对代理在异构文件、多模态信息交织的工作区中持续交互、完成复杂任务的能力覆盖不足。近期提出的Omni-Workspace基准,正是为了填补这一空白。

Omni-Workspace 全模态工作区任务基准

全模态代理的下一个战场:复杂工作区任务

全模态代理被期待超越多模态理解,进入真实的多模态环境完成复杂任务。在这类场景中,信息分散在异构文件和不同模态里,跨文件、跨模态的依赖关系要求代理在不断获取新证据的同时,持续协调感知、推理与工具使用。这种“长程”(long-horizon)的交互能力,恰恰是当前评测体系的盲区。

Omni-Workspace的提出者指出,现有全模态基准主要聚焦于多模态感知和理解,对于通过与多模态工作区持续交互来完成复杂任务这一方向,探索明显不足。换句话说,模型能“看懂”一张图或一段视频,不代表它能在一堆文档、表格、图像和外部检索结果之间来回穿梭,最终产出符合明确要求的交付物。

“全模态代理”中的“全模态”(omni-modal)与常见的“多模态”(multimodal)在评测语境下有一层关键差别:多模态通常只要求模型同时处理文本、图像、音频、视频等输入,而全模态更强调模型能在同一任务中跨模态地感知、推理并调用工具采取行动,输出可以是任意模态的交付物。代理(agent)一词则意味着系统不是被动回答问题,而是自主规划步骤、读取文件、检索信息并迭代执行。把二者结合,全模态代理的难点就从“模态覆盖广度”转向“跨模态信息在长程行动中的一致性与可追踪性”,这也解释了为什么单纯扩大模型参数或增加模态种类,并不能直接转化为工作区任务上的分数提升。

基准设计:380个深度研究式任务,四类工作区、两个难度

Omni-Workspace包含380个深度研究风格的任务,覆盖四种多模态工作区类型,并分为两个难度等级。这些任务要求代理检查和处理工作区文件,在需要时检索外部信息,整合跨文件、跨模态的证据,并产出满足明确要求的成果文件。

任务的设计强调“证据驱动”的连续决策:新收集到的证据会影响后续动作,代理不能只做一次性的信息读取,而要在多轮交互中动态调整策略。这与真实的知识工作场景高度相似——研究者、分析师或运营人员面对的工作区,往往就是文件类型混杂、信息互相引用的状态。

评测结果:最强模型平均仅65.93分

研究团队评估了18个代表性模型,结果揭示了长程多模态工作区执行能力的明显局限。表现最好的模型平均得分仅为65.93。这一分数说明,即便是在当前能力靠前的模型中,面对需要持续协调感知、推理和工具使用的任务,仍有相当大的提升空间。

进一步分析识别出两类反复出现的问题:多模态上下文膨胀(multimodal context inflation)和任务状态漂移(task-state drift)。前者指随着交互推进,上下文中的多模态信息不断累积,导致模型处理负担加重;后者指代理在执行长任务过程中逐渐偏离既定任务状态,丢失对目标的跟踪。这两个问题在长程任务中相互叠加,成为性能瓶颈。

“长程”(long-horizon)是理解这两个失败模式的关键背景。短程任务通常只需一两次工具调用或一轮推理即可完成,上下文增长有限、目标也容易保持;长程任务则涉及数十乃至上百步交互,每一步都可能引入新的图像、表格或检索片段。随着步数增加,上下文窗口被持续填充,模型对早期关键约束的注意力被稀释,同时中间步骤的中间结论可能被后续信息覆盖,导致代理“忘记”自己做到哪一步、还差什么。因此长程能力并不是短程能力的简单延长,它对记忆压缩、状态显式化和错误恢复提出了额外要求,这也是上下文膨胀与状态漂移往往同时出现的原因。

OmniFocus:轻量级改进方案

基于上述发现,研究者进一步提出OmniFocus,一种结合多模态工作记忆管理与显式任务状态跟踪的轻量级方法,旨在提升性能与效率。工作记忆管理对应上下文膨胀问题,显式任务状态跟踪则针对状态漂移——思路直指评测中暴露的两个核心痛点。

这一方案的价值在于,它没有依赖更重的模型或更复杂的架构,而是从代理的“记忆”和“状态”两个机制入手,为长程多模态任务提供更可控的执行框架。对于希望在实际产品中部署全模态代理的团队,这类轻量级改进更具落地参考意义。

“多模态工作记忆管理”借用了认知科学中工作记忆的概念:在有限容量下,只保留与当前子目标相关的信息,把已完成的证据压缩成摘要或结构化记录,而不是让原始图像与长文本不断堆叠。对应到代理实现上,常见做法包括对历史多模态输入做选择性摘要、按任务阶段清理不再需要的上下文、以及把关键证据外化为可检索的笔记。与之配合的“显式任务状态跟踪”,则是把任务目标、已完成步骤、待办事项和约束条件写成独立的、可被每轮读取的状态表示,使模型不必从冗长的对话历史中自行推断进度。二者一个管“记什么”,一个管“做到哪”,共同构成对长程执行的可控性保障。

对全模态代理发展的意义

Omni-Workspace的贡献不止于一个排行榜。它把评测焦点从“多模态理解”推进到“多模态工作区中的复杂任务完成”,为全模态代理的评测与开发提供了更贴近真实应用的标尺。随着代理被期望自主完成复杂任务,类似这样覆盖长程交互、跨模态证据整合和成果产出的基准,将成为衡量进展的关键基础设施。

对于关注AI代理落地的开发者和研究者,这一基准提示了一个明确方向:能力提升不只靠更强的感知模型,还需要在上下文管理、任务状态跟踪等执行机制上持续投入。

#Omni-Workspace#全模态AI助手#多模态工作区#AI代理评测#OmniFocus#长程任务#多模态基准
分享:

相关推荐