RaRe
推理感知的关系表示学习框架,利用多模态大语言模型生成的思维链理由构建并优化场景图关系表示,以提升开放词汇场景图生成中对稀有和未见关系的泛化能力。
时间轴 (近 90 天)
研究者提出RaRe——一个推理感知的关系表示学习框架,将多模态大语言模型(MLLM)生成的思维链(CoT)理由转化为结构化的关系嵌入,并直接优化由理由衍生的表示空间。
RaRe通过自监督对比学习,将MLLM生成的CoT理由嵌入与文本化的关系描述进行对齐,使理由表示在语义空间中靠近对应的关系语义。
RaRe采用面向特异性的强化学习目标来精炼理由生成,鼓励模型产出针对具体物体对的、语义上更具区分度的关系证据。
与仅把CoT作为推理痕迹的做法不同,RaRe直接优化理由衍生的表示空间,以提升关系间的可判别性。
在VG150和PSG两个数据集上,RaRe在类别均衡识别方面优于现有基线。
论文指出,学习带来的额外增益在不同数据集和提案设置下存在差异,效果与数据分布、候选框质量等因素相关。
RaRe的代码已在项目页面公开。
全部知识事实 (7)
研究者提出RaRe——一个推理感知的关系表示学习框架,将多模态大语言模型(MLLM)生成的思维链(CoT)理由转化为结构化的关系嵌入,并直接优化由理由衍生的表示空间。
50%待验证RaRe通过自监督对比学习,将MLLM生成的CoT理由嵌入与文本化的关系描述进行对齐,使理由表示在语义空间中靠近对应的关系语义。
50%待验证RaRe采用面向特异性的强化学习目标来精炼理由生成,鼓励模型产出针对具体物体对的、语义上更具区分度的关系证据。
50%待验证与仅把CoT作为推理痕迹的做法不同,RaRe直接优化理由衍生的表示空间,以提升关系间的可判别性。
50%待验证在VG150和PSG两个数据集上,RaRe在类别均衡识别方面优于现有基线。
50%待验证论文指出,学习带来的额外增益在不同数据集和提案设置下存在差异,效果与数据分布、候选框质量等因素相关。
50%待验证RaRe的代码已在项目页面公开。
50%