[控场AI]
· 4 分钟阅读· 2,303 字

视觉语言模型的跨图比较为何“看见却说不出来”

视觉语言模型的跨图比较为何“看见却说不出来”

VLM跨图比较失败可定位到16-32个注意力头,仅训练其查询键投影即可大幅提升。

该研究系统追踪了视觉语言模型在跨图匹配任务中的失败机制,在Qwen3-VL、InternVL3.5和Gemma-3上识别出两种失败模式:一是模型完成了比较但答案未被正确读出,探针准确率比校准输出高15到25个点;二是语义对应信息存在于视觉token中却未传递到答案层。进一步通过因果干预锁定16到32个注意力头承载跨图比较功能,重分配其跨图注意力可造成15到32个点的准确率下降。基于此,仅训练这些头的查询和键投影(0.02%参数),在SPair-71k上带来28.3和25.1个点的提升,并优于多个对照组,为跨图任务提供了比全量微调更经济的定向干预路径。

视觉语言模型(VLM)在单图理解上已相当成熟,但当任务要求在两张图之间匹配一个点或一个物体时,模型常常出错——即使答案就藏在它的隐藏状态里。一篇新研究系统追踪了这种失败,并在三个模型家族上定位到两个关键断点,还给出了一种只改动0.02%参数的修复方案。

研究来源截图

跨图比较的两种失败模式

研究者在 Qwen3-VL(2B-32B)、InternVL3.5-8B 和 Gemma-3-12B 上,用合成形状匹配、同实例点对应(HPatches)和语义对应(SPair-71k)三类任务,从视觉token一路追踪到答案字母。结果发现失败并非单一原因,而是分为两种。

第一种是“比对了但没读出来”:对于完全相同的副本,模型确实执行了比较,但答案没有被正确读出。在答案位置做探针,其准确率比校准后的输出高出15到25个点,无论形状是否可命名都成立。而沿着探针方向做引导,能改变的回答数量并不比随机方向多。

第二种是“信息在但没传过去”:语义对应关系存在于视觉token中,却从未到达答案层。这说明问题出在跨图像信息的传递路径上,而非特征本身缺失。

探针(probe) 是机制可解释性研究中的常用工具:在模型某一层的隐藏状态上训练一个简单的线性分类器,用来判断该层是否已经编码了任务所需的信息。如果探针准确率显著高于模型实际输出准确率,就说明信息已经存在于隐藏状态中,问题出在从该层到最终答案的读出或传递环节,而非特征提取失败。本文中“答案位置探针比校准输出高15到25个点”正是这一逻辑的直接应用,用于区分“没算出来”和“算出来但没说出来”两种失败。

校准(calibration) 指模型输出概率与真实正确率之间的一致性。未校准的模型可能给出高置信度的错误答案,因此直接比较原始输出准确率与探针准确率会有偏差;研究者先对输出做校准,再与探针对比,才能公平地判断信息是否“藏在”隐藏状态里。

16到32个头承载了跨图比较

研究进一步锁定了承载比较功能的一小群注意力头。当把16到32个头的跨图注意力重新分配、同时保持其总量不变时,合成任务准确率下降17到22个点,HPatches下降15到32个点,而随机头或注意力匹配的头最多只造成7个点的下降。

这种因果性证据表明,跨图比较功能高度集中在少数头上,而非弥散在整个网络中。这也解释了为什么整体微调有时难以稳定提升跨图任务——关键通路没有被单独对待。

注意力头(attention head) 是Transformer中多头注意力机制的基本单元。每一层包含多个头,每个头独立计算查询(query)、键(key)、值(value)投影,并产生一组注意力权重,决定该头从哪些位置“读取”信息。不同头往往分工不同,已有研究表明部分头专门负责特定语义或句法功能。本文所谓“跨图注意力”指一个头的查询来自一张图的token、而键来自另一张图的token时所形成的注意力连接,这正是两图之间信息交换的物理通道。

因果干预 在这里指人为改变特定头的注意力分配(如重分配跨图注意力总量),观察任务准确率是否随之变化。与仅观察相关性不同,因果干预能排除混淆因素,确认某组头是否是功能承载者。随机头对照组只造成最多7个点的下降,而目标头造成15到32个点的下降,这种对比是因果性证据的核心。

只训练查询和键投影就够了

研究给出了一个相当克制的修复方案:只训练这些关键头的查询(query)和键(key)投影。在SPair-71k上,Qwen3-VL-8B准确率提升28.3个点,InternVL3.5-8B提升25.1个点,并且优于层匹配头和注意力匹配头的对照组,还能迁移到HPatches和BLINK。

更说个细节,一个不受约束的全层适配器,其增益中有21%到51%是通过同一批头的注意力路由的,随机头最多只有7%。而且这种路由是通过改变这些头“读什么”(占效果的83%到86%)来实现的,而不是改变它们的权重。

查询和键投影 是注意力头内部的两个线性变换矩阵:查询投影决定“我在找什么”,键投影决定“我能提供什么”,二者共同决定注意力权重,即信息路由。只训练这两个投影而不改动值投影和输出投影,相当于只调整“谁该关注谁”,而不改变被关注内容本身的表示。这解释了为什么修复参数极少(0.02%)却能显著提升跨图任务:瓶颈在于路由而非特征质量。

层匹配头和注意力匹配头 是对照组设计:前者选择与目标头处于相同层但功能不同的头进行训练,后者选择注意力模式相似但非目标组的头。二者增益均不及目标头,说明效果并非来自“训练了同样多的参数”或“训练了相似注意力的头”,而是特异地来自那批承载跨图比较功能的头。

对多模态研究的启示

这项工作的方法论同样值得关注:每条决策规则在运行前就已冻结,所有报告的数字都由独立验证脚本重新计算。这种预注册式的严谨,在模型机制研究中并不常见。

从应用角度看,这意味着跨图比较能力的提升未必需要大规模重训。定位到承载功能的注意力头,做极小范围的定向干预,就可能带来显著收益。对于需要图文对比、文档比对、视觉定位等场景的产品,这条路径提供了比全量微调更经济的思路。

当然,当前结论建立在特定模型家族和任务集上,能否推广到视频、多图推理等更复杂场景,仍需后续验证。但“看见却说不出来”这一现象的机制被拆解到注意力头级别,本身就是理解多模态模型内部运作的重要一步。

分享:

相关推荐