DK-VLM：把几何当位置，破解VLM空间推理难题

空间推理的瓶颈：几何信息难以融入语义表示

视觉语言模型在识别物体、描述场景方面已经相当成熟，但一旦涉及"杯子在桌子的左边还是后面""绕到房间另一侧后电视在哪个方向"这类跨视角的空间判断，表现就明显下滑。核心困难在于：模型需要同时理解语义内容和三维几何关系，而这两者的表示方式天然不同。

据该论文描述，一种常见思路是将三维重建特征直接融合进视觉token中，但作者指出，在空间监督信号有限的情况下，让这些几何特征与预训练模型已有的语义表示对齐，仍然是一个未解决的难题。DK-VLM提出了一个不同的切入角度：不让几何作为"额外特征"挤进token，而是让几何作为"位置信息"直接参与注意力计算。

视觉语言模型（VLM） 通常由视觉编码器（如ViT）和语言模型两部分组成，视觉编码器将图像切分为patch并转化为token序列，再与文本token一起送入Transformer。这种架构天然擅长处理"图像里有什么"这类语义任务，却对"物体之间的三维空间关系"缺乏建模能力——因为图像本身是二维投影，深度、遮挡、绝对尺度等信息在投影过程中已经丢失。

三维重建特征 指通过多视角图像或单目深度估计网络推断出的点云、体素或深度图等表示。这类特征携带真实的几何信息，但它们的数值分布、维度和语义含义与预训练视觉token差异巨大，直接拼接往往会让模型"看不懂"，这也是论文强调对齐困难的根源。

双核注意力：语义与几何各司其职

DK-VLM的核心设计是Dual-Kernel Attention（双核注意力）。传统Transformer的注意力由token的输入位置决定，而DK-VLM在此基础上增加了一个几何核：利用估计的三维点坐标和相机位姿，通过点位移和视角间的相对变换，直接调制注意力权重。

两个核的分工很清晰。语义核保留了预训练模型原生的注意力和位置编码，确保模型不会因为引入几何信息而丢失已经学到的语义能力。几何核则负责处理空间关系，它不依赖融合后的重建特征，而是用原始的三维点和相机参数计算token之间的空间关联。两个核的输出通过一个可学习的门控机制进行融合，让模型自行决定在什么情况下更依赖语义、什么情况下更依赖几何。

这种"几何即位置"的设计思路，绕开了特征对齐的难题。几何信息不再需要被"翻译"成语义token能理解的格式，而是以位置信号的身份直接进入注意力机制。

注意力机制 的核心是 query 与 key 的点积，决定每个token应该关注哪些其他token。标准Transformer中，这个权重只由token的内容和位置编码决定，与场景的真实三维结构无关。DK-VLM的做法是在点积结果上再叠加一项由几何核计算出的偏置，相当于告诉模型"从三维空间看，这两个token本来就该更亲近"。

门控机制 是一种可学习的加权融合方式，通常形式为 g·A_sem + (1-g)·A_geo，其中 g 由输入特征经过一个小网络动态生成。这样模型在面对纯语义任务（如物体识别）时可以调低几何核的权重，而在需要空间判断时提高几何核参与度，避免几何信号对语义能力的干扰。

Reference-Frame Composition：让模型学会更新参考系

空间推理的一个关键能力是参考系更新。当你从房间的一侧走到另一侧，同一个物体的相对方位会发生变化，模型需要能够跟踪这种变化并更新自己的空间判断。

DK-VLM引入了Reference-Frame Composition（RC）监督来解决这个问题。具体做法是：从已验证的单步标注中推导出逐步的转向和朝向目标，用这些中间信号训练模型在连续判断中更新参考系。这意味着模型不仅要知道"当前物体在哪"，还要学会"如果我转了个方向，它会变成在哪"。

这种监督方式的价值在于，它把多步空间推理拆解成了可训练的逐步更新过程，而不是要求模型直接从单步标注中自行领悟参考系变换的规律。

参考系（Reference Frame） 是空间认知中的基础概念，指描述物体方位时所采用的坐标系。同一个物体在"以观察者为原点"和"以房间为原点"的参考系下方位完全不同，人类通过心理旋转可以轻松切换，但模型需要显式训练才能掌握。

单步标注 指只给出"当前视角下A在B的左边"这类单一判断的监督信号，不包含视角变换过程。DK-VLM通过从这些单步标注反推转向角度和朝向变化，构造出中间步骤的伪标签，相当于给模型提供了"从A视角到B视角该如何旋转"的监督，这正是RC监督区别于普通多步问答训练的关键。

基准测试表现

在六个空间基准测试中，DK-VLM-8B取得了最高的平均分。其中在VSI-Bench上得分74.33，在ReVSI-32上得分58.28，均为最高总分。RC监督的加入进一步提升了多步空间推理的表现。

值得关注的是，完整模型在增强空间能力的同时，保留了通用的视频理解能力。这一点在空间推理研究中并不常见——很多方法为了提升空间判断精度，会牺牲模型在其他任务上的泛化表现。DK-VLM通过双核分离的设计，让几何处理模块和语义理解模块保持相对独立，从而减少了能力之间的相互干扰。

为什么这个思路值得关注

DK-VLM的启示在于它对问题进行了重新定义。当大多数人尝试让几何特征"更好地融入"语义表示时，DK-VLM选择让几何走一条完全不同的通道进入模型——通过注意力机制的位置调制，而非特征融合。

这个思路的潜在优势是模块化和可扩展性。几何核依赖的是三维点和相机位姿，这些信息在机器人导航、AR/VR等场景中可以直接获取，不需要额外的特征提取网络。同时，语义核的保留意味着模型可以复用已有的预训练权重，降低了训练成本。

当然，这种方法的效果依赖于三维点估计和相机位姿的准确性。在真实场景中，这些输入往往带有噪声，几何核的鲁棒性还需要进一步验证。论文目前的结果基于基准测试，在开放环境中的表现仍有待观察。

项目主页：https://sumuru789.github.io/DK-VLM-website/

相机位姿（Camera Pose） 通常由旋转矩阵R和平移向量t构成，描述相机在世界坐标系中的位置和朝向。它是连接图像像素与三维空间的关键参数，在SLAM、机器人导航和AR/VR中可通过IMU、视觉里程计等直接获得，精度远高于从单张图像估计的深度。DK-VLM的几何核正是利用这一先验，将位姿信息转化为token间的相对变换，从而让注意力权重具备空间一致性。

鲁棒性 指模型在输入存在噪声、异常值或分布偏移时维持性能的能力。三维点估计误差和位姿漂移会直接传导到几何核的注意力偏置上，可能导致模型在关键区域关注错误的token。论文目前未系统评估噪声条件下的表现，这是该方法走向真实部署前需要验证的重要方向。