ROMA：让大模型主动决策的多感官物体感知系统

从被动感知到主动求证

传统的机器人感知流程往往遵循一个固定模式：先感知，再行动（sense, then act）。感知栈被设计成一个静态的输入通道，机器人被动地接收传感器数据，然后基于这些数据做决策。主动感知（Active Perception）在这种范式里通常只是附加功能——系统在既定流程之外偶尔调整一下传感器朝向，但本质上并没有改变「先感知后行动」的核心逻辑。

ROMA（Real-World Object-Centric Multi-Sensory Active Perception）这项研究颠覆了这一思路。它不再把感知当作一个被动接收的环节，而是让系统主动判断「当前缺少什么信息」，然后有目的地去获取这些信息，并持续追踪「证据是否已经足够」以作出对物体属性的最终判断。

主动感知（Active Perception）这一概念最早由 Bajcsy 在 1988 年系统性地提出：感知不应是对环境的被动记录，而应是智能体根据当前目标主动控制传感器采集过程的行为。经典实现包括主动视觉（让摄像头主动转向不确定区域）、探索性触觉（通过抓握或按压来推断物体属性）等。然而，传统主动感知系统往往依赖预定义的探索策略或强化学习策略，难以灵活应对开放式任务。ROMA 的突破在于将「何时探索、探索什么、何时终止」这三个决策统一交由语言模型推理，而非硬编码为固定规则。

ROMA 的核心机制

ROMA 的关键创新在于三个环环相扣的能力：识别信息缺口、主动获取信息、评估证据充分性。

系统首先会分析当前对目标物体的理解中哪些属性尚不确定——比如物体的材质、重量、温度或表面纹理等单一视觉难以判断的属性。接着，它会主动规划如何去弥补这些缺口，例如调整视角、触碰物体、或者调用其他传感器模态来采集补充数据。

最具价值的一点是「何时停止」的判断。系统会实时跟踪已收集的证据量，当证据足以支撑某个属性估计时，才作出承诺（commit）。这种机制避免了过度采集带来的资源浪费，也避免了证据不足就草率下结论的风险，让感知过程更接近人类在不确定环境中的推理方式。

LLM 作为规划核心

ROMA 建立在一个大语言模型（LLM）规划器之上。LLM 在这里承担的是「决策大脑」的角色——它负责理解任务目标、推断当前信息状态、并生成下一步的信息获取动作。

这种设计反映了当前机器人与具身智能领域的一个重要趋势：用语言模型的推理和规划能力来统筹复杂的多步骤感知任务。相比传统基于规则或固定策略的主动感知方案，LLM 的引入带来了更强的泛化能力和对开放式任务的适应性，使系统能够以更接近自然语言推理的方式去「思考」该获取什么信息。

将 LLM 用于机器人任务规划的研究路线近年来迅速兴起，代表性工作包括 SayCan（Google，2022）和 Code as Policies（2023）等，它们验证了语言模型能够将高层语义指令分解为可执行的低层动作序列。在主动感知场景中，LLM 的优势尤为突出：感知本身带有高度的语义性——「判断这个物体是否导电」「确认表面是否粗糙」——这类目标天然契合语言模型的理解和推理能力。与此同时，LLM 也面临具身场景特有的挑战：如何准确感知当前物理状态、如何避免「幻觉」导致错误的动作规划，以及如何在实时约束下高效推理，都是该方向尚待解决的开放问题。

真实多感官硬件落地

值得强调的是，ROMA 并非停留在仿真环境，而是构建在真实的多感官硬件之上。「物体中心」（Object-Centric）和「多感官」（Multi-Sensory）这两个关键词，意味着系统围绕具体物体整合了多种传感模态的数据——这正是现实世界应用中最具挑战也最有价值的部分。

从仿真到真机的跨越一直是具身智能领域的难点，真实硬件会引入噪声、延迟和不可预测的物理交互。ROMA 选择直面这些挑战，在真实场景中验证其主动感知闭环，这让它的结果更具说服力。

多感官融合（Multi-Sensory Fusion）在机器人领域通常涉及视觉、触觉、力觉、温度、声学等多种模态的协同使用。「物体中心」（Object-Centric）表示系统的感知与推理以单个物体为基本单位进行组织，而非对整个场景做全局建模——这种设计简化了跨模态数据的对齐问题，也让系统更容易聚焦于当前任务相关的属性。从仿真到真实硬件（Sim-to-Real）的迁移常常面临感知噪声、执行误差和接触动力学不确定性等问题，业内通称为「reality gap」。ROMA 直接在真实硬件上构建并验证系统，意味着其结论无需额外的迁移工程即可参考，也为后续研究提供了更可信的性能基准。

开源代码与论文

这项研究同时发布了完整的论文和代码。对于从事机器人感知、具身智能、以及 LLM 规划应用的研究者和开发者而言，开源意味着可以直接复现、验证并在此基础上做二次开发。

在当前「主动感知」仍属前沿探索的阶段，一个带有真实硬件实现、且代码公开的系统，为社区提供了宝贵的参考基线。它不仅是一篇理论论文，更是一套可动手实践的工程范式。

意义与展望

ROMA 代表的方向——让智能系统主动决定「要知道什么」而非被动「接收什么」——对未来的机器人、自动驾驶、工业检测等需要在不确定环境中做出可靠判断的场景都有启发意义。

当感知不再是固定的前置流程，而是由推理能力驱动的动态求证过程时，系统的鲁棒性和效率都有望显著提升。随着 LLM 规划能力的不断增强，这类「以推理驱动感知」的架构可能会成为具身智能的重要范式之一。

注：本文基于 Reddit 上发布的研究摘要整理，具体技术细节和实验数据建议查阅原始论文与开源代码。