RaRe：用推理链重构开放词汇场景图关系表示

开放词汇场景图生成（OV-SGG）的目标是让模型识别训练词表之外的视觉关系。现有方法大多依赖数据集特定的物体-谓词共现模式，在长尾分布和物体定位噪声的干扰下，这种依赖会导致关系表示存在偏差且相互纠缠，既限制了稀有关系的识别，也削弱了对未见谓词的泛化能力。针对这一问题，研究者提出 RaRe——一个推理感知的关系表示学习框架，将多模态大语言模型（MLLM）生成的思维链（CoT）理由转化为结构化的关系嵌入，并直接优化由理由衍生的表示空间，而非仅将 CoT 当作预测前的中间推理痕迹。

问题根源：共现模式的路径依赖

传统 OV-SGG 方法通常从数据集中统计物体与谓词的共现频率，以此构建关系先验。这种做法的隐患在于：长尾分布下，稀有谓词的共现信号本就稀疏，模型更容易被高频组合带偏；而物体定位的噪声又会进一步污染共现统计，使关系表示在语义上相互纠缠。结果是，模型对常见关系过度自信，对稀有和未见关系则缺乏判别力。RaRe 的出发点正是切断这种对数据集特定共现模式的路径依赖，转而利用 MLLM 的推理能力生成与具体物体对相关的关系证据。

开放词汇场景图生成（OV-SGG） 是场景图生成的一个分支设定：模型在训练阶段只能见到有限的物体类别与谓词（关系）词表，测试时则需要识别词表之外的物体或关系。与之相对的传统闭集设定假设测试与训练共享同一标签空间。开放词汇设定的难点在于，模型无法依赖为每个谓词学习到的分类头，而必须借助语义嵌入、视觉-语言预训练等方式把已见关系的知识迁移到未见关系上。也正因如此，模型很容易退化为记忆训练集中的物体-谓词搭配统计，这正是文中所述共现路径依赖问题的由来。

长尾分布 指数据中类别频次呈极端不均衡的分布形态：少数高频谓词（如“on”“has”）占据大量样本，而大量稀有谓词只有零星标注。在交叉熵等常规训练目标下，模型倾向优先拟合高频类别以获得更低的平均损失，稀有类别的梯度信号被淹没。在场景图任务中，这一问题还被关系标注本身的主观性和稀疏性放大——同一物体对可能只标注了部分关系，导致长尾之外的“漏标”噪声。

RaRe 框架：从理由到结构化嵌入

RaRe 的核心设计分为两步。首先，它通过自监督对比学习，将 MLLM 生成的 CoT 理由嵌入与文本化的关系描述进行对齐，使理由表示在语义空间中靠近对应的关系语义。其次，它采用面向特异性的强化学习目标来精炼理由生成，鼓励模型产出针对具体物体对的、语义上更具区分度的关系证据，而非泛泛而谈的描述。与仅把 CoT 作为推理痕迹的做法不同，RaRe 直接优化理由衍生的表示空间，以提升关系间的可判别性。这一思路把推理链从“解释工具”提升为“表示学习信号”，在方法论上是一个值得关注的转向。

思维链（Chain-of-Thought, CoT） 指让大语言模型在给出最终答案前先输出一段中间推理步骤的提示与生成范式。在视觉-语言任务中，多模态大语言模型（MLLM）可以基于图像内容生成类似“这两个物体在空间上相邻，且其中一个支撑另一个”的自然语言理由。CoT 通常被用作提升预测准确率的推理脚手架，推理过程在输出答案后即被丢弃。RaRe 的关键差异在于把这些理由文本编码为向量，使其成为可训练、可优化的表示，从而让推理过程本身参与表征学习，而不仅是服务于最终分类。

对比学习 是一类自监督表示学习方法：通过拉近正样本对、推远负样本对在嵌入空间中的距离来学习判别性表示，典型代表如 InfoNCE 损失。RaRe 用它把 MLLM 理由的嵌入与文本化的关系描述（如谓词的语义描述）对齐，使理由向量落在关系语义附近。强化学习目标 则用于精炼生成过程：以“理由对具体物体对是否具有区分度”作为奖励信号，通过策略梯度类方法更新生成模型，使其倾向于产出针对性强、信息量高的理由，而非模板化的泛泛描述。

实验表现与边界

在 VG150 和 PSG 两个数据集上，RaRe 在类别均衡识别方面优于现有基线。不过，论文也如实指出，学习带来的额外增益在不同数据集和提案设置下存在差异。这一细节值得重视：它说明基于推理链的关系表示并非在所有场景下都能稳定兑现收益，其效果与数据分布、候选框质量等因素相关。对于希望复现或迁移该方法的工程团队而言，这意味着需要针对自身数据特点评估收益，而不能直接假定推理链增强必然带来一致提升。代码已在项目页面公开，便于社区验证。

对开放词汇关系理解的意义

RaRe 的价值在于提供了一条不依赖数据集特定共现统计的替代路径：用 MLLM 的推理理由构建关系表示，再以对比学习和强化学习双重目标打磨这一表示空间。对于开放词汇场景图生成而言，这直接回应了稀有关系识别与未见谓词泛化的核心痛点。当然，理由生成的质量、强化学习目标的稳定性，以及跨数据集增益的不均衡，仍是后续工作需要回答的问题。