Qwen VLM挑战《威利在哪里》：暴露视觉模型细粒度定位软肋

当VLM遇上《威利在哪里》

视觉语言模型（VLM，Vision-Language Model）近年来发展迅猛，从图像描述、OCR识别到复杂的视觉推理，模型能力持续突破。VLM是一类将计算机视觉与自然语言处理深度融合的多模态模型，其典型架构包含三个核心组件：视觉编码器（如ViT，Vision Transformer）负责将图像转化为视觉特征表示；语言模型（通常是大型语言模型LLM）负责文本理解与生成；以及连接二者的投影层或适配器模块。代表性的VLM包括OpenAI的GPT-4o、Google的Gemini系列、以及阿里巴巴的Qwen-VL系列。这些模型通过在海量图文配对数据上进行预训练，学会了将视觉信息与语言语义对齐，从而能够执行图像描述、视觉问答、文档OCR等多种任务。

VLM的训练通常遵循精心设计的多阶段范式：首先是视觉编码器的预训练（如在ImageNet-21K上训练ViT以获得强大的视觉表征能力），然后是跨模态对齐预训练（使用大规模图文配对数据如LAION-5B进行对比学习，建立视觉与语言之间的语义桥梁），最后是指令微调阶段（使用精心构造的视觉问答、图像描述等指令数据，使模型能够遵循用户意图完成特定任务）。值得注意的是，视觉编码器与语言模型之间的"桥接"方式对模型性能有重大影响——从简单的线性投影（如LLaVA采用的MLP连接器）到复杂的交叉注意力机制（如DeepMind的Flamingo使用的Perceiver Resampler）再到Q-Former结构（如BLIP-2利用可学习查询向量提取固定数量的视觉特征），不同的架构选择在信息压缩率和细节保留之间做出了不同的权衡，这直接影响了模型在细粒度视觉任务上的表现上限。

然而，一项看似简单的儿童游戏——《威利在哪里》（Where's Waldo?），却成了检验这些先进模型的一块试金石。

《威利在哪里》由英国插画家Martin Handford于1987年创作，是一套在全球范围内广受欢迎的视觉搜索游戏书。每幅画面包含数百到上千个精心绘制的人物和场景细节，玩家需要在这些密集的视觉信息中找到特定的目标角色——戴着圆框眼镜、身穿红白横条纹衫、头戴绒球帽的威利。从认知科学角度看，这本书本质上是一个经典"视觉搜索"范式的极端案例，它巧妙地利用了人类视觉系统的局限性，通过高密度的相似干扰物和精心设计的视觉陷阱，将搜索难度推向极限。

近期，一位Reddit用户分享了使用Qwen 3.6 VLM尝试寻找隐藏在密集人群画面中的"威利"的实验。Qwen-VL是阿里巴巴达摩院推出的视觉语言模型系列，基于Qwen大语言模型扩展而来，采用了ViT视觉编码器与Qwen语言模型的组合架构，通过位置感知的视觉-语言适配器实现跨模态对齐。该系列在多个视觉语言评测基准上展现了强劲的竞争力，尤其在中文场景和细粒度视觉理解方面具有显著优势。

结果颇具启发性：即便是这类在视觉理解上已经相当成熟的模型，面对高密度、高干扰的目标搜索任务时，依然显得力不从心。

Qwen 3.6 VLM尝试在Where's Waldo图片中寻找威利

这个实验虽然带着几分娱乐性质，却精准地暴露了当前视觉语言模型在"细粒度视觉定位"上的短板。

为什么《威利在哪里》对VLM如此困难

高密度视觉干扰带来的挑战

《威利在哪里》的核心难点在于：目标（穿红白条纹衫、戴眼镜的威利）被刻意隐藏在成百上千个视觉相似的干扰元素中。整幅画面充满了大量色彩鲜艳、形态各异的小人物和物件，其中不乏与威利极为相似的"陷阱"角色。

对于人类而言，我们依靠系统性的视觉扫描策略和对细节特征的快速比对来完成搜索。认知心理学研究表明，人类在执行视觉搜索任务时会运用多种策略：自上而下的注意力引导（基于目标特征预设搜索模板）、系统性的空间扫描（避免重复搜索已排除区域）、以及基于显著性的快速筛选（pop-out效应）。Anne Treisman提出的特征整合理论为理解这一过程提供了经典框架：当目标由单一特征定义时（如在一堆蓝色圆形中寻找红色圆形），搜索可以是并行的、几乎不受干扰物数量影响的前注意加工过程；但当目标需要多个特征的组合来定义时（如在红色圆形和蓝色方块中寻找红色方块），搜索必须是串行的，需要注意力焦点逐一聚焦于每个候选对象。威利的识别正是这种高度复杂的"联合搜索"——需要同时确认红白横条纹衫、圆框眼镜、红白绒球帽、深色头发等多个特征的共现，而画面中散布着大量只具备部分匹配特征的干扰角色（如穿红衣但不是条纹的人物、戴帽但不同款式的角色等）。在这类联合搜索任务中，人类的搜索效率会显著下降，搜索时间与干扰物数量近似线性增长。这说明即使对人类而言，这类任务也需要大量的认知资源投入。

而对于VLM来说，这类任务需要模型在极高分辨率的图像中，对局部微小区域进行精确的特征匹配——这恰恰是当前主流视觉编码器的薄弱环节。

分辨率与token预算的取舍

多数VLM在处理图像时，会将图片切分为固定大小的patch并转换为视觉token。在Vision Transformer架构中，输入图像首先被切分为固定大小的patch（例如14×14或16×16像素），每个patch经过线性投影后成为一个视觉token。对于一张224×224的标准图像，以14×14的patch大小切分会产生256个视觉token。当图像分辨率提升时，token数量会呈二次方增长——一张2240×2240的高分辨率图像将产生25600个token——这对计算资源和模型的上下文窗口都构成巨大压力。

因此，许多VLM会对高分辨率图像进行下采样或采用动态分辨率策略（如将大图切分为多个子图分别编码），在信息保留与计算效率之间寻找平衡。当画面元素极其密集时，单个patch可能包含多个人物，导致关键的细节信息在下采样过程中被稀释或丢失。威利可能只占据整幅图像的极小一部分（通常小于图像面积的0.1%），模型在有限的视觉token预算下很难"看清"这个目标。

动态分辨率处理是当前VLM领域应对这一挑战的核心技术方向。除了Qwen2-VL的Naive Dynamic Resolution外，不同模型探索了各具特色的解决方案：InternVL采用了"动态高分辨率"策略，将大图切分为最多12个448×448的子图并保留一张全局缩略图，通过全局视图维持场景级语义理解、局部子图保留细节信息；LLaVA-Next则使用AnyRes策略，根据图像宽高比从预定义的网格配置中选择最优的切分方案，避免不必要的填充和变形。这些方法的核心思想都是在不超出上下文窗口限制的前提下，尽可能保留原始图像的空间细节。然而，子图切分可能导致跨patch边界的目标被截断（恰好位于两个子图交界处的威利可能无法被完整识别），全局-局部双流编码则增加了计算开销和特征融合的复杂度。如何在保留细节与维持全局语义一致性之间取得平衡，仍是活跃的研究课题。

这也解释了为什么VLM在描述整体场景时表现出色，却在精确定位微小目标时频频出错。

从Qwen 3.6到3.8：VLM需要哪些突破

发帖者在实验结尾提出了一个耐人寻味的问题：新一代的Qwen 3.8能否在这类任务上带来实质性的提升？

这个问题背后，指向了VLM演进的几个重要方向。要在《威利在哪里》这样的任务上取得进步，模型需要同时突破以下瓶颈：

更高的原生分辨率支持

新一代模型往往会引入动态分辨率处理机制，允许模型根据图像内容自适应地分配视觉token，从而保留更多细节信息。例如，Qwen2-VL引入的"Naive Dynamic Resolution"机制可以将不同尺寸的图像映射为不同数量的视觉token，而非强制缩放到固定分辨率。这种方法在理论上能够让模型"看到"更多细节，但也带来了推理效率与上下文长度管理的新挑战。Qwen系列在这方面已有持续投入，其视觉编码器对高分辨率图像的支持能力是衡量进步的关键指标。

更强的视觉grounding能力

视觉grounding（视觉定位）指模型将语言描述精准对应到图像具体区域的能力。这一任务也被称为Referring Expression Comprehension，要求模型理解开放式的语言描述并完成定位。早期方法如YOLO、Faster R-CNN等目标检测模型只能识别预定义类别（如"人"、"车"、"狗"等COCO数据集中的80个类别），而视觉grounding则需要理解任意自然语言指令（如"左边穿红色衣服正在打电话的女士"）。近年来，随着GLIP（将目标检测重新formulate为短语定位任务）、Grounding DINO（结合DINO检测器与文本编码器实现开放集定位）等模型的出现，以及VLM中grounding能力的集成（如输出坐标token或边界框），这一领域取得了显著进步。

对于《威利在哪里》这样的任务，这不仅要求模型"认得"威利，还要能给出准确的坐标或边界框。然而，在极端密集场景下对微小目标的精确定位仍然是一个开放性挑战，当前最好的grounding模型在这类场景下的精度仍有大幅提升空间。

迭代搜索与视觉推理链

人类在寻找威利时会分区域逐步搜索。视觉推理链（Visual Chain-of-Thought）借鉴了语言模型中的思维链提示技术，将复杂视觉问题分解为多个步骤逐步求解。在Agent化框架下，视觉模型可以主动"决定"下一步要观察图像的哪个区域，类似于人类的眼动扫视行为。

这一理念深刻地借鉴了认知科学中的"主动视觉"理论——即视觉感知不是被动接收信息的单次快照，而是一个主动探索环境的动态过程。人类在观察复杂场景时，眼球会进行快速的扫视运动（saccade），每秒钟做出3-5次注视点转移，每次注视仅获取中央视野约2度范围内的高清信息。这意味着我们对复杂场景的理解是通过多次采样和整合逐步构建的。在计算机视觉领域，这一思想体现为模型能够动态决定"往哪里看"：基于强化学习的注意力策略（如Recurrent Attention Model）让模型学习一个策略网络来决定下一个注视点；基于工具使用的方法（如ViperGPT、Visual Programming）让模型生成代码调用裁剪、放大、滤波等视觉操作；基于多轮对话的方法则让模型在每一轮中请求查看图像的特定区域并获取局部放大视图。

具体而言，模型可以先对全图进行概览，识别出可能包含目标的候选区域（基于红白条纹等显著特征），然后对这些区域进行裁剪放大（crop-and-zoom），逐步验证是否为真正的威利。这种主动视觉探索策略已在一些研究中（如VisualAgent、Set-of-Mark等方法）得到初步验证。未来的VLM如果能结合这类"视觉推理链"策略，或许能显著提升在密集场景搜索任务中的成功率。这也是agent化视觉模型的一个潜在应用场景——模型不再是一次性地"看"完整图像给出答案，而是通过多步交互式推理逐步缩小搜索范围，最终精确定位目标。

这个实验揭示的更深层问题

《威利在哪里》测试之所以有价值，是因为它以一种直观、可复现的方式，检验了模型在真实复杂场景中的表现，而非仅仅依赖标准化的benchmark分数。

很多VLM在公开评测榜单上表现亮眼，但这些评测往往聚焦于图像问答、文档理解等相对结构化的任务。而寻找威利这类"大海捞针"式的视觉搜索，更贴近现实世界中诸如安防监控目标检索、医学影像微小病灶识别、卫星图像分析等高难度应用场景。

这些场景共同的技术难点是：目标占比极小（通常小于图像面积的0.1%）、背景干扰强烈、且对漏检的容忍度极低。在安防监控中，需要在拥挤人群中识别特定嫌疑人——这与在《威利在哪里》画面中搜索目标的任务结构高度同构；在医学影像中，放射科医生需要在CT或MRI图像中发现毫米级的早期肿瘤病灶，而研究表明即使是经验丰富的放射科医生也会有约30%的微小病灶漏检率；在遥感分析中，需要从分辨率达数万×数万像素的卫星图像中识别特定车辆或建筑变化。这些应用对模型的召回率和定位精度有着极为严苛的要求，任何遗漏都可能造成严重后果。

换言之，一个能够稳定通过《威利在哪里》测试的模型，很可能在这些实际应用中也具备更强的鲁棒性。这类非正式但富有洞察力的社区实验，正逐渐成为衡量模型真实能力的有益补充——它们填补了标准化benchmark可能无法覆盖的能力维度，为模型开发者提供了来自真实用户视角的反馈信号。

结语

Qwen VLM挑战《威利在哪里》的实验，用一种轻松的方式揭示了视觉语言模型在细粒度定位任务上尚未攻克的难题。尽管当前模型在整体视觉理解上已经相当强大，但"在密集场景中看清微小目标"依然是一条需要持续攻坚的道路。

随着Qwen 3.8等新一代模型的推出，社区对VLM在高分辨率处理、视觉grounding和推理能力上的进步充满期待。而这样的趣味测试，未来或许会成为检验视觉模型进化程度的一个非官方"民间基准"——正如语言模型领域中"大海捞针"（Needle in a Haystack）测试已经成为衡量长上下文能力的标志性实验一样，视觉领域的《威利在哪里》测试有潜力成为衡量细粒度视觉搜索能力的代表性挑战。从更宏观的视角看，这一挑战折射出多模态AI从"大致理解"走向"精确感知"的必经之路——当模型不仅需要回答"图片里有什么"，还需要精准回答"它在哪里"时，我们才真正迈入了视觉智能的深水区。