多模态具身智能体：从电脑使用到机器人使用的统一能力框架PAPAV

多模态智能体（MMAs）通过推理、记忆、工具和反馈维持交互，最典型的表现是电脑使用智能体；而机器人系统（RSs）则在物理动力学下耦合感知与执行。当多模态智能体从虚拟环境走向物理世界，核心问题随之浮现：从电脑使用到机器人使用，究竟改变了什么？ 一篇最新论文提出PAPAV统一能力框架，试图回答这个问题。

定义多模态具身智能体：目标导向的物理交互系统

论文将多模态具身智能体（MMEAs）定义为：将多模态任务推理与物理动作相结合，并根据反馈修正决策的目标导向系统。这一定义的关键在于“耦合”——不仅是感知与推理的结合，更是推理与物理执行的闭环。

与纯软件智能体不同，MMEA必须在真实世界中产生动作，并承受动作带来的不可逆后果。这引出了论文的核心问题：当智能体从计算机使用迁移到机器人使用，哪些能力保持不变，哪些需要重新设计？

部分可观测性（Partial Observability） 是强化学习与机器人学中的经典设定：智能体无法直接获知环境的完整状态，只能通过带噪声的传感器观测获取局部信息。在电脑使用场景中，智能体通常可以读取完整的DOM树或屏幕像素，状态相对透明；而物理世界中的机器人受限于摄像头视野、遮挡、触觉稀疏等因素，必须维护对未观测部分的不确定性估计（如概率分布或信念状态）。这一约束直接决定了感知模块需要具备主动探索与信息融合能力，而非被动接收输入。

PAPAV框架：五种反复出现的核心能力

论文提出PAPAV框架，以功能而非架构来划分能力。五种能力分别是：

• Perceive（感知）：获取当前状态的多模态信息
• Anticipate（预判）：预测动作可能带来的效果
• Plan（规划）：制定可行的行动路线
• Act（执行）：通过接口或身体完成任务
• Verify（验证）：确认结果是否符合预期

这一划分的价值在于，它让MMEAs、MMAs和RSs三者可以在同一坐标系下比较。例如，电脑使用智能体的“Act”是通过API或GUI操作实现的，而机器人的“Act”则涉及关节运动与物理接触。功能相同，实现代价却天差地别。

预判（Anticipate） 与规划的区别在于时间尺度与因果深度：规划关注“如何达到目标”，预判关注“动作会引发什么”。在机器人操作中，预判涉及物理动力学推演——例如抓取杯子时预测液面晃动、推门时预测门后障碍。电脑使用智能体的预判通常基于离散状态转移（点击按钮后页面跳转），可用规则或世界模型精确模拟；而物理预判需要处理连续状态、接触力学与材质不确定性，误差会随动作链累积。这正是预判在现有基准中评测稀少的原因：它难以用单一成功率指标衡量。

五项物理约束：更少预设，更少退路

论文识别出五项物理约束——从部分可观测性到不可验证的结果——这些约束共同导致两个后果：预先固定的选择更少，纠错的空间也更小。

在电脑使用场景中，智能体可以撤销操作、重试流程、回滚状态；而在物理世界中，打翻的杯子无法“Ctrl+Z”。部分可观测性意味着智能体永远无法获得完整的世界状态，必须在不完全信息下做决策。不可验证的结果则意味着，某些任务的成败在当下无法判断，只能等待时间给出答案。这些约束直接塑造了论文后续提出的开放挑战。

不可逆性（Irreversibility） 是物理交互与软件操作最本质的差异之一。软件系统天然支持撤销栈、快照回滚与幂等重试，智能体可以低成本试错；物理动作一旦执行，其后果（如打翻液体、碰撞损坏）无法通过状态回滚消除。这要求智能体在Act之前建立安全边界与风险评估机制，也使得“探索”在物理场景中代价高昂。论文将不可验证结果与不可逆性并列为约束，正是因为二者共同压缩了纠错空间：动作不可撤销，结果又可能延迟显现，智能体必须在信息不完整时做出高风险决策。

评测现状：64个基准中，预判与验证几乎缺席

论文对64个基准进行了梳理，发现一个显著的不平衡：显式评测集中在Act能力上，只有5个基准评估Anticipate，仅3个评估Verify。预判与验证能力大多隐藏在任务成功率的背后，没有被单独度量。

这意味着现有评测体系可能高估了智能体的真实能力。一个机器人成功抓取了物体，不代表它预判了抓取后的连锁反应，也不代表它验证了抓取的稳固性。论文因此呼吁：评测应覆盖全部五种能力，而不仅仅是任务成功率。

任务成功率（Task Success Rate） 是机器人学习基准中最常用的聚合指标，通常定义为在多次试验中完成预设目标的次数比例。它简洁、可比较，但存在归因盲区：成功率不区分智能体是“碰巧成功”还是“预判并验证后成功”。例如抓取任务中，成功率无法反映智能体是否评估了抓取后的稳定性，也无法区分感知误差与规划失误。论文指出仅5个基准评估Anticipate、3个评估Verify，正是因为这些能力需要过程级标注或反事实评估，而现有基准多采用端到端结果打分，导致能力维度被单一指标掩盖。

开放挑战与PAPAV的意义

五项物理约束也框定了论文识别的开放挑战：如何在部分可观测下做鲁棒预判？如何在不可逆动作前建立安全边界？如何设计可验证的物理交互协议？

PAPAV框架的意义在于提供了一个共同基础——既用于设计可靠的物理智能体，也用于跨能力度量进展。它提醒研究者和工程师：从电脑使用到机器人使用，不是简单的场景迁移，而是能力权重与约束条件的系统性重构。

论文的核心贡献不在于提出新模型，而在于提供了一面镜子，让领域看清自己在哪里投入过多、在哪里投入不足。