[控场AI]
模型DK-VLM-8B

DK-VLM

一种面向视觉语言模型空间推理的改进架构,通过双核注意力机制将三维几何信息作为位置信号直接调制注意力权重,而非作为额外特征融合进视觉token,并引入参考系组合监督训练模型更新空间参考系。

时间轴 (近 90 天)

10月16日

DK-VLM在VSI-Bench上得分74.33,在ReVSI-32上得分58.28,均为最高总分。

待验证50%
10月16日

DK-VLM的核心设计是Dual-Kernel Attention(双核注意力),包含语义核和几何核,通过可学习的门控机制融合两个核的输出。

待验证50%
10月16日

DK-VLM引入了Reference-Frame Composition(RC)监督,从已验证的单步标注中推导出逐步的转向和朝向目标,训练模型更新参考系。

待验证50%
10月16日

DK-VLM通过双核分离的设计,保留了通用的视频理解能力,减少了空间能力与通用能力之间的相互干扰。

待验证50%
10月16日

DK-VLM的几何核依赖三维点和相机位姿,这些信息在机器人导航、AR/VR等场景中可直接获取,无需额外特征提取网络。

待验证50%
10月16日

DK-VLM的方法效果依赖于三维点估计和相机位姿的准确性,在真实场景中这些输入常带噪声,几何核的鲁棒性尚需进一步验证。

待验证50%
10月16日

DK-VLM提出了将几何作为位置信息直接参与注意力计算的思路,而非作为额外特征融合进视觉token。

待验证50%
10月16日

论文目前的结果基于基准测试,在开放环境中的表现仍有待观察。

待验证50%

全部知识事实 (8)

来源文章