PSGAgent：用智能体推理突破MLLM动态视觉感知瓶颈

全景场景图生成（Panoptic Scene Graph Generation, PSG）要求模型对物体间的复杂关系进行整体且细粒度的推理。然而，当前应用于PSG的多模态大语言模型（MLLM）存在一个感知瓶颈：它们作为静态观察者，受限于固定分辨率的视图。这导致模型常常忽略涉及小物体或边缘物体的关键关系，并且难以在复杂场景中区分模糊的谓词。为解决这些限制，研究者提出了PSGAgent，一个通过“思考-行动-观察”循环来增强PSG视觉感知的智能体框架。

静态观察者的感知瓶颈

现有MLLM在PSG任务上的根本问题在于其“静态观察者”的定位。模型接收的视觉输入是固定分辨率的整张图像，无法根据推理需要主动调整感知焦点。在复杂场景中，小物体或位于图像边缘的物体所参与的关系往往只占据极少的像素，固定视图下这些关系信息极易丢失。同时，当场景中存在多个相似物体或关系时，静态视图缺乏针对性，模型难以区分语义模糊的谓词，例如“拿着”与“触碰”、“站在旁边”与“属于”。这一瓶颈并非模型推理能力不足，而是感知层面缺乏动态调节机制。

全景场景图生成（PSG） 是场景图生成（SGG）任务的一个扩展变体，目标是将图像中所有物体及其两两之间的关系建模为图结构。与传统SGG基于目标检测框不同，PSG采用全景分割掩码作为物体表示，能够同时覆盖"things"（可数物体）和"stuff"（背景区域如天空、道路），因此更贴近真实场景的完整性。PSG的输出是一个三元组集合（主体、谓词、客体），谓词涵盖动作、空间、交互等丰富语义。评价通常采用Recall@K（如R@20、R@50）以及针对谓词类别的mR@K指标，用以衡量模型对细粒度关系的召回能力。正是由于PSG要求对全图所有物体对进行关系推理，固定分辨率输入下小物体和边缘物体的像素占比极低，感知瓶颈才尤为突出。

思考-行动-观察：智能体式感知循环

PSGAgent的核心创新在于将MLLM从静态观察者转变为主动感知的智能体。框架通过一个“思考-行动-观察”的循环，让模型在推理过程中动态地精炼其视觉感知。具体而言，模型首先基于当前理解进行思考，判断需要进一步探查的视觉区域或关系，然后调用工具执行行动，最后观察行动后的视觉反馈并更新推理。这一循环使模型能够像人类一样，在不确定时主动“凑近看”或“聚焦看”，而非被动接受一次性视觉输入。

区域放大工具：局部探索

区域放大工具（Region Zoom-In Tool）专为局部探索设计，使模型能够对小物体或边界关系进行放大观察。当模型在推理中意识到某个关键关系涉及小尺度物体或位于图像边缘时，可以主动调用该工具截取相应区域并放大，获得更高分辨率的局部视图。这一能力直接缓解了固定分辨率下小物体关系被忽略的问题，让模型能够获取此前无法分辨的细节信息。

视觉高亮工具：关系聚焦

视觉高亮工具（Visual Highlight Tool）则侧重于关系聚焦。它通过关系导向的分割，过滤掉无关的上下文噪声，使模型能够将注意力集中在与当前推理相关的前景物体和关系上。在复杂场景中，大量背景物体和干扰信息会稀释模型对关键关系的感知，高亮工具通过显式地抑制无关区域，帮助模型更清晰地辨别模糊谓词。两个工具互补：一个用于放大细节，一个用于排除干扰，共同支撑动态感知。

两阶段训练：从冷启动到策略优化

为了让模型学会何时以及如何调用工具，研究者设计了两阶段训练流程。第一阶段构建了一个高质量、错误感知的多模态思维链（M-CoT）数据集，为冷启动学习提供稳健的监督信号。该数据集不仅包含正确的推理路径，还包含错误感知信息，帮助模型理解常见的感知错误模式。第二阶段设计了一种新颖的分层奖励机制，并与组序列策略优化（Group Sequence Policy Optimization, GSPO）相结合，使模型能够学习战略性和适应性的工具使用策略。分层奖励机制引导模型在正确的时机选择正确的工具，而非盲目调用。

组序列策略优化（GSPO） 是强化学习中对大语言模型进行策略优化的方法，可视为GRPO（Group Relative Policy Optimization）在序列级重要性采样上的改进。传统PPO类方法在token级别计算重要性比率，当序列较长时方差较大、训练不稳定；GSPO改为在整条序列层面计算重要性权重，并按序列长度归一化，从而降低方差、提升长序列生成的训练稳定性。在本工作中，GSPO用于优化智能体的工具调用策略：模型在"思考-行动-观察"循环中生成包含工具调用的完整轨迹，GSPO根据分层奖励对整条轨迹进行策略更新，使模型逐步学会在何种推理状态下调用区域放大或视觉高亮工具。

多模态思维链（M-CoT） 指将思维链推理扩展到多模态输入场景，模型在给出最终答案前生成显式的中间推理步骤，且这些步骤可引用视觉证据。在智能体式框架中，M-CoT通常表现为交替的文本推理与工具调用/观察序列。本文构建的"错误感知"M-CoT数据集在标准正确推理路径之外，还标注了常见感知错误模式（如漏检小物体关系、误判模糊谓词），使冷启动阶段的监督信号不仅告诉模型"怎么做对"，也告诉它"容易怎么错"，从而为后续强化学习阶段提供更稳健的初始化策略。

实验结果与意义

在PSG基准上的大量实验表明，PSGAgent达到了SOTA性能，在整体和细粒度场景理解方面均展现出强大能力。这一结果验证了智能体式推理在视觉感知任务中的有效性：通过将动态感知能力赋予MLLM，模型能够突破固定视图的限制，更全面地捕捉场景中的关系信息。PSGAgent的意义不仅限于PSG任务本身，它为多模态大模型在需要精细视觉推理的场景中提供了一种可借鉴的范式——让模型学会主动感知，而非被动接收。

总结

PSGAgent通过智能体框架将MLLM的静态视觉感知转变为动态、主动的感知过程。区域放大工具和视觉高亮工具分别解决小物体关系忽略和上下文噪声干扰问题，两阶段训练则确保工具使用的策略性。PSG基准上的SOTA表现证明了这一思路的有效性，也为多模态大模型在复杂视觉推理任务中的感知增强提供了新方向。