[控场AI]
论文Real-World Object-Centric Multi-Sensory Active Perception

ROMA

一种基于大语言模型的多感官主动感知系统,围绕物体中心整合视觉、触觉等多种传感模态,让LLM作为规划核心主动识别信息缺口、获取信息并评估证据充分性,在真实硬件上实现闭环感知决策

时间轴 (近 90 天)

10月10日

ROMA是一个真实世界物体中心的多感官主动感知系统,让系统主动判断当前缺少什么信息,有目的地获取这些信息,并持续追踪证据是否充足以作出对物体属性的最终判断

待验证50%
10月10日

ROMA的核心机制包含三个环环相扣的能力:识别信息缺口、主动获取信息、评估证据充分性

待验证50%
10月10日

ROMA将「何时探索、探索什么、何时终止」这三个决策统一交由语言模型推理,而非硬编码为固定规则

待验证50%
10月10日

ROMA建立在一个大语言模型(LLM)规划器之上,LLM负责理解任务目标、推断当前信息状态并生成下一步的信息获取动作

待验证50%
10月10日

ROMA构建在真实的多感官硬件之上,而非停留在仿真环境,在真实场景中验证其主动感知闭环

待验证50%
10月10日

ROMA同时发布了完整的论文和开源代码

待验证50%
10月10日

ROMA的证据充分性评估机制可避免过度采集带来的资源浪费,也避免证据不足就草率下结论的风险

待验证50%

全部知识事实 (7)

来源文章