[控场AI]
模型

PSGAgent

一种用于全景场景图生成(PSG)的智能体框架,通过“思考-行动-观察”循环让多模态大语言模型动态调用区域放大和视觉高亮工具,突破静态观察者的感知瓶颈。

时间轴 (近 90 天)

11月6日

研究者提出了PSGAgent,一个通过“思考-行动-观察”循环来增强PSG视觉感知的智能体框架。

待验证50%
11月6日

PSGAgent框架包含区域放大工具(Region Zoom-In Tool),用于对小物体或边界关系进行放大观察,获取更高分辨率的局部视图。

待验证50%
11月6日

PSGAgent框架包含视觉高亮工具(Visual Highlight Tool),通过关系导向的分割过滤无关上下文噪声,使模型聚焦于当前推理相关的前景物体和关系。

待验证50%
11月6日

PSGAgent采用两阶段训练流程:第一阶段构建错误感知的多模态思维链(M-CoT)数据集进行冷启动学习;第二阶段使用分层奖励机制结合组序列策略优化(GSPO)学习工具使用策略。

待验证50%
11月6日

PSGAgent在PSG基准上达到了SOTA性能,在整体和细粒度场景理解方面均展现强大能力。

待验证50%
11月6日

PSGAgent的意义不仅限于PSG任务本身,它为多模态大模型在需要精细视觉推理的场景中提供了一种可借鉴的范式——让模型学会主动感知,而非被动接收。

待验证50%

全部知识事实 (6)

来源文章