[控场AI]
· 5 分钟阅读· 2,591 字

物理RSI能力从何而来?LLM智能体的观测缩放定律

物理RSI能力从何而来?LLM智能体的观测缩放定律

论文提出PhysRSI-eval五轴基准与物理桶假说,量化具身智能体物理递归自我改进的来源与瓶颈。

该论文系统研究了视觉语言模型作为具身智能体时的物理递归自我改进(RSI)能力。研究者提出PhysRSI-eval五轴度量体系(首次表现、效率、成功率、预算消耗、失败改进),在18个操作任务上发现公开基准均分相近的系统其物理RSI能力差异显著,高分未必意味着高效或早期增益。论文提炼出“物理桶假说”,认为不同能力约束改进过程的不同环节,单一能力提升未必带来整体跃升。观测缩放可从公开能力预测相对表现,也可从早期反馈预测后续进展。工作空间干预实验表明场景特定适应与可复用经验可以共存。该工作将物理RSI从模糊概念转化为可度量对象,为具身智能评估与选型提供了新框架。

视觉语言模型(VLM)作为具身智能体的核心,其物理操作能力的自我提升机制一直缺乏系统性的量化研究。近期一篇论文提出了PhysRSI-eval基准和“物理桶假说”,试图回答一个关键问题:物理递归自我改进(RSI)的能力究竟源自何处? 研究者通过18个操作任务、固定交互预算下的实验,揭示了不同能力维度对改进过程的差异化约束,并给出了观测缩放的两个分析视角。

论文来源截图

五轴度量:拆解物理RSI的多维表现

传统评估往往依赖单一的成功率指标,但论文提出的PhysRSI-eval采用五轴度量体系:首次尝试表现、效率、成功率、预算消耗以及从失败中改进的能力。这五个维度共同刻画了一个智能体在物理任务中的递归自我改进水平。

实验在不同VLM上运行了18个操作任务,每个任务都在固定的交互预算下进行。结果显示,五轴指标能够区分那些在公开基准上平均分相近的系统——换句话说,两个在排行榜上看起来差不多的模型,其物理RSI能力可能天差地别。更关键的是,高分并不一定意味着早期或高效的增益:某些系统虽然最终成功率高,但前期试错成本巨大,改进曲线陡峭却迟缓。

这一发现直接挑战了“高分即强”的直觉判断。对于具身智能的落地应用而言,效率与首次尝试表现往往比最终成功率更具现实意义——毕竟真实场景中,机器人没有无限次的试错机会。

物理桶假说:不同能力约束不同改进环节

论文从实验结果中提炼出“物理桶假说”(Physical Barrel Hypothesis):不同的能力可能约束改进过程的不同部分。就像木桶的短板决定盛水量,物理RSI的瓶颈可能出现在感知、规划、执行或反馈学习的任一环节,且不同模型受制的“短板”并不相同。

这个假说的价值在于,它解释了为什么单纯提升某个单一能力(比如视觉识别精度)未必能带来整体RSI的跃升。改进是一个多环节耦合的过程,需要识别出当前系统真正的约束瓶颈。论文通过五轴指标的组合模式,间接定位了这些瓶颈所在——例如,首次尝试表现弱但改进能力强的系统,其瓶颈可能在初始策略质量而非学习机制。

递归自我改进(Recursive Self-Improvement, RSI) 源自人工智能安全与智能爆炸理论,指系统利用自身输出来改进自身能力,形成正反馈循环。在纯数字领域(如代码生成、数学推理),RSI 的讨论多集中在模型能否自主发现并修复缺陷。而物理 RSI 将这一概念迁移到具身操作场景:智能体在有限的交互预算内,通过试错积累经验,逐步提升任务成功率与效率。与数字 RSI 不同,物理 RSI 的反馈来自真实或仿真的物理环境,噪声大、延迟高、不可逆动作多,因此其改进机制更复杂。论文将物理 RSI 操作化为可度量的五轴指标,正是为了在受控条件下量化这一过程,避免概念空泛化。

观测缩放:从公开能力预测物理表现

论文从两个角度研究了观测缩放规律。第一个视角是从VLM的公开能力预测其作为智能体的相对表现。这意味着,理论上可以通过模型在通用基准上的分数,推断其在物理操作任务中的潜力排序。这为智能体选型提供了一种低成本的前置评估思路,尽管预测精度受限于公开能力与物理能力之间的映射关系。

第二个视角是从早期物理反馈预测后续进展。实验表明,智能体在最初几轮交互中的表现,能够在一定程度上预示其最终能达到的改进幅度。两个视角合在一起,回答了两个实践问题:一个智能体能改进得多快,以及能改进到多远。

观测缩放(Observational Scaling) 借鉴自大模型领域的缩放定律研究,但此处特指“通过可观测的代理信号来预测目标能力”的方法论。论文提出两个视角:其一是利用 VLM 在公开基准上的分数作为代理,预测其在物理任务中的相对排序;其二是利用早期交互轮次的反馈作为代理,预测最终改进幅度。这种做法的前提是代理信号与目标能力之间存在稳定的单调映射。然而,公开能力与物理能力之间的映射可能受任务分布、动作空间、感知模态差异等因素干扰,因此预测精度有限。观测缩放的价值在于提供低成本的前置筛选,而非精确的绝对性能预测。

工作空间干预:改进留下了什么

为了理解改进过程中究竟积累了什么,研究者进行了工作空间干预实验,结果揭示了几个值得关注的現象:

  • 移除历史会降低后期轮次的成功率,说明交互历史中包含了可复用的经验信息;
  • 冻结工作空间在未见过的布局上仍然有用,表明智能体学到了某种与场景相关的适应能力,而非仅仅记忆特定布局;
  • 三个跨任务案例中出现了更早的成功,暗示可迁移的经验确实存在。

这些结果指向一个结论:场景特定适应与可复用经验可以共存。智能体既在特定环境中进行精细调优,也积累了能够跨场景迁移的通用策略。这对于构建更通用的具身智能体具有启发意义——不必在专用性和通用性之间做非此即彼的选择。

工作空间干预(Workspace Intervention) 是一种因果探测手段:通过人为移除或冻结智能体在交互过程中积累的工作空间(如历史轨迹、记忆缓存、环境状态),观察其对后续任务表现的影响。若移除历史导致后期成功率下降,说明历史中包含可复用信息;若冻结工作空间在未见布局上仍有效,说明智能体学到了可迁移的适应策略而非死记硬背。这种方法类似于认知科学中的“消融实验”,用于区分记忆、泛化与适应三种成分。论文借此揭示了场景特定适应与可复用经验可以共存,为设计更具通用性的具身智能体提供了实证依据。

对具身智能研究的启示

这项工作的核心贡献在于将“物理RSI”从一个模糊的概念转化为可度量、可分析的研究对象。五轴度量体系提供了更细致的评估工具,物理桶假说给出了能力约束的分析框架,而观测缩放则为预测智能体潜力提供了方法论。

当然,18个操作任务的规模仍然有限,物理桶假说的普适性有待更大规模实验验证。但论文提出的问题——物理RSI能力从何而来——为后续研究设定了一个有价值的议程。对于关注LLM作为策略(LLM-as-policy)的研究者和工程师而言,理解改进的来源与瓶颈,或许比追逐单一基准分数更为重要。

#物理RSI#递归自我改进#LLM-as-policy#视觉语言模型#具身智能#观测缩放定律#PhysRSI-eval
分享:

相关推荐