多模态大模型为何读不懂"眯眼文字"？SquintBench揭示识别短板

当机器看不见人眼能辨认的文字

人类有一种奇妙的能力：面对一张模糊、分辨率粗糙的图片，只要眯起眼睛，往往就能辨认出其中隐藏的文字轮廓。然而最新研究指出，当前的多模态大语言模型（MLLMs）在这种场景下频频失手——它们不仅读不出文字，甚至会直接报告"图中没有文字"。

研究者将这类问题命名为 Squint Text（眯眼文字），并将其定位为一种"识别缺陷"而非单纯的理解问题。这一研究动机来自真实的生产环境：在内容审核流水线中，大量嵌入在图像粗结构里的文字被模型漏读，直接影响了审核的可靠性。

两套基准：从真实场景到可控诊断

为了系统性地研究这一问题，团队构建了两套评测工具。

SquintBench：源自生产的真实挑战

SquintBench 包含 1076 张从生产审核流程中提取的真实图像。这些样本并非实验室里刻意制造的难题，而是模型在实际部署中真正翻车的案例，因此更具代表性和说服力。

SquintCtrl：拆解失败机制

与之互补的是 SquintCtrl，一套可控的合成图像套件，专门用于诊断失败背后的机制。通过人为控制变量，研究者得以逐步剖析模型究竟在哪一环节丢失了信息。

问题出在哪？冻结权重下的机制分析

研究最有价值的部分，是对失败原因的深入拆解。通过冻结模型权重进行分析，团队得出了几个关键发现：

• 粗信号存在，字形身份缺失：隐藏文字确实在模型内部留下了一个"粗略信号"，但具体的字形身份（glyph identity）表征非常微弱。换句话说，模型"隐约知道这里有东西"，却说不清是什么字。
• 空间选择是主要瓶颈：当研究者主动提供正确的空间区域后，字形身份立刻变得容易提取。这说明模型缺的不是识别能力，而是"把注意力放对位置"的能力——空间选择（spatial selection）成为最大的卡点。
• 高频内容的干扰：在固定视觉 token 预算下，抑制图像中的高频内容反而能提升阅读效果。此外，视觉 token 的数量本身也可能是影响因素之一。

这些发现把一个笼统的"读不出字"问题，拆解成了可定位、可干预的具体瓶颈。

**字形身份（glyph identity）**指的是模型对某个视觉符号"这是哪个字符"的具体表征，区别于仅感知到"这里有某种纹理或边缘"的粗略存在感。视觉神经网络在处理图像时会形成从低级边缘到高级语义的层次化表征，字形身份属于高级语义层，需要足够的空间分辨率与注意力聚焦才能被激活。研究发现，低分辨率嵌入文字在模型的特征空间里确实触发了某种低级信号，但这个信号太微弱，不足以驱动高层的字符分类决策——这正是模型会报告"图中没有文字"的根本原因，因为它的置信度阈值根本未被突破。

视觉 token 预算则是多模态大模型处理图像时的另一个核心约束。为了将图像输入到语言模型主干，图像需要被编码为固定数量的 token（如 256、576 个不等），这一数量直接决定了模型能"看到"的视觉细节上限。当图像中存在大量高频纹理（如背景噪点、复杂图案）时，有限的 token 预算会被这些干扰信息占据，导致低对比度的文字区域进一步被压缩稀释——这也解释了为何抑制高频内容能提升文字识别效果。

Squint OPSD：让学生模型学会"自己读"

基于上述诊断，研究者提出了解决方案 Squint OPSD。其核心是一种师生蒸馏范式：

• 特权上下文的教师：一个冻结权重的教师模型接收降采样后的图像视图，同时获得真实的文字转录作为"特权上下文"（privileged context）。
• on-policy 轨迹监督：教师在 token 层面的分布，沿着 on-policy 轨迹来监督学生模型的学习。
• 推理时独立作业：训练完成后，学生模型在推理阶段只需面对原始图像，无需任何辅助视图或额外输入。

这种设计的巧妙之处在于，训练时借助"答案"和降采样视图引导学生建立正确的阅读策略，而部署时则完全靠自己，既利用了特权信息，又不增加推理成本。

On-policy 蒸馏与传统知识蒸馏的关键区别在于监督信号的来源。传统蒸馏通常让学生直接模仿教师在固定样本上的输出分布（off-policy），而 on-policy 蒸馏则是在学生自身生成的轨迹上施加教师的监督——即教师对学生"正在走的路"进行纠偏，而非要求学生完全照搬教师的路径。这种方式能更好地应对训练分布与推理分布的差异（即 exposure bias 问题），尤其在自回归生成任务中效果更稳定。

**特权上下文（privileged context）**这一概念源自特权信息学习框架（Learning Using Privileged Information, LUPI）：训练时向模型提供推理阶段无法获得的额外信息，以加速或改善学习效果，但模型最终必须在没有该信息的条件下独立工作。在本研究中，教师模型同时看到降采样视图和真实文字转录，后者即为特权上下文——它告诉教师"正确答案是什么"，从而使教师能对学生的 token 生成过程提供更精准的梯度信号，而学生在推理时则只面对原始图像，不依赖任何外部答案。

效果如何：ANLS 从 26 跃升至 88

实验结果相当亮眼。在 SquintBench 上，Squint OPSD 达到了 88.61 的 ANLS 分数，而对比基线则相形见绌：

• 未经适配的原始骨干模型：26.50
• 最佳通用模型（原始视图）：24.44
• 现成模型在降采样视图下的最佳表现：68.60

从 26.50 到 88.61，意味着模型在"图像中实际存在的视觉证据"与"最终生成的读出结果"之间的鸿沟被大幅缩小——而且这一切都是在推理时不借助任何辅助视图的前提下实现的。

**ANLS（Average Normalized Levenshtein Similarity）**是文档理解和文字识别领域的标准评测指标，用于衡量模型输出与标准答案之间的相似程度。它基于编辑距离（Levenshtein distance）计算，即将预测字符串转化为正确字符串所需的最少增删改操作次数，归一化后取值范围为 0 到 100（或 0 到 1）。与精确匹配（Exact Match）相比，ANLS 对拼写细微错误更宽容，能更公平地反映模型的实际阅读能力——例如将"Hel1o"认成"Hello"只扣少量分，而非直接零分。ANLS 从 26.50 跃升至 88.61，意味着模型输出与真实文字的字符级相似度从约四分之一提升到近九成，这一量级的提升在 OCR 相关任务中属于显著突破。

对行业的启示

这项研究的意义不止于一个漂亮的分数。它揭示了当前多模态模型一个被忽视的系统性短板：在内容审核、文档理解、图像取证等真实场景中，低分辨率或嵌入式文字普遍存在，而主流模型对此的处理能力远不如人类直觉。

更重要的是，研究把问题归因到"空间选择"和"高频干扰"等可操作的机制层面，而非简单归咎于"模型不够大"。这为后续改进提供了明确方向：与其盲目堆参数，不如针对性地优化模型的空间注意力分配和视觉 token 预算策略。

对于依赖多模态模型做内容安全的团队来说，这更是一记警钟——漏读的"眯眼文字"可能正是审核体系中最隐蔽的漏洞。