论文Real-World Object-Centric Multi-Sensory Active Perception
ROMA
一种基于大语言模型的多感官主动感知系统,围绕物体中心整合视觉、触觉等多种传感模态,让LLM作为规划核心主动识别信息缺口、获取信息并评估证据充分性,在真实硬件上实现闭环感知决策
时间轴 (近 90 天)
10月10日
ROMA是一个真实世界物体中心的多感官主动感知系统,让系统主动判断当前缺少什么信息,有目的地获取这些信息,并持续追踪证据是否充足以作出对物体属性的最终判断
待验证50%
10月10日
ROMA的核心机制包含三个环环相扣的能力:识别信息缺口、主动获取信息、评估证据充分性
待验证50%
10月10日
ROMA将「何时探索、探索什么、何时终止」这三个决策统一交由语言模型推理,而非硬编码为固定规则
待验证50%
10月10日
ROMA建立在一个大语言模型(LLM)规划器之上,LLM负责理解任务目标、推断当前信息状态并生成下一步的信息获取动作
待验证50%
10月10日
ROMA构建在真实的多感官硬件之上,而非停留在仿真环境,在真实场景中验证其主动感知闭环
待验证50%
10月10日
ROMA同时发布了完整的论文和开源代码
待验证50%
10月10日
ROMA的证据充分性评估机制可避免过度采集带来的资源浪费,也避免证据不足就草率下结论的风险
待验证50%
全部知识事实 (7)
待验证
ROMA建立在一个大语言模型(LLM)规划器之上,LLM负责理解任务目标、推断当前信息状态并生成下一步的信息获取动作
50%待验证ROMA的核心机制包含三个环环相扣的能力:识别信息缺口、主动获取信息、评估证据充分性
50%待验证ROMA将「何时探索、探索什么、何时终止」这三个决策统一交由语言模型推理,而非硬编码为固定规则
50%待验证ROMA是一个真实世界物体中心的多感官主动感知系统,让系统主动判断当前缺少什么信息,有目的地获取这些信息,并持续追踪证据是否充足以作出对物体属性的最终判断
50%待验证ROMA构建在真实的多感官硬件之上,而非停留在仿真环境,在真实场景中验证其主动感知闭环
50%待验证ROMA的证据充分性评估机制可避免过度采集带来的资源浪费,也避免证据不足就草率下结论的风险
50%待验证ROMA同时发布了完整的论文和开源代码
50%