Latent-Lens：用隐空间通信让小模型看懂图

视觉语言模型（VLM）和小语言模型（SLM）各有所长，但把它们拼成一个多智能体系统时，通常只能靠离散文本传递信息。文本是视觉细节的“有损压缩”：空间关系、细微纹理在转成文字的那一刻就丢失了大半。对于容量有限的 SLM 来说，这种损失尤其致命——它们本就依赖输入信号的质量。

一篇新研究提出了 Latent-Lens，试图绕开文本瓶颈：让冻结的 VLM 和冻结的 SLM 直接在隐空间中对话。

文本通信的天花板在哪里

在模块化多智能体架构里，VLM 负责“看”，SLM 负责“推理和输出”。两者之间如果只传递离散 token，VLM 必须先把视觉理解压缩成自然语言，SLM 再从文字重建视觉语境。这个过程对空间位置、物体属性等细粒度信息极不友好。

已有的隐空间通信研究主要解决语言模型之间的状态传递，但一个 VLM 如何把视觉信息交给一个独立预训练的纯文本 SLM，此前并未被探索。原因不难理解：两个模型架构不同、词表不同、隐藏维度不同，隐状态无法直接对接。

隐状态（hidden states） 指模型在每一层内部对输入 token 计算出的高维稠密向量表示，它编码了当前上下文的信息，也是模型做下一步计算的基础。与最终输出的离散 token 不同，隐状态保留了连续的、分布式的特征，例如一个词在特定句子中的具体语义角色或某个区域的空间关系。两个模型若架构相同、词表一致，可以直接共享隐状态；但词表不同意味着 token 与嵌入向量的对应关系不一致，隐藏维度不同则使向量空间无法直接对齐。

词表与嵌入空间：模型通过嵌入矩阵把 token ID 映射为输入向量，词表决定了哪些 token 存在，嵌入空间则由训练过程塑造。两个独立训练的模型即使面对同一段文字，得到的嵌入向量也处在不同的坐标系中，无法直接交换。跨模型隐通信的核心困难正在于：需要学习一个可逆或至少保信息的映射，把源模型的表示翻译到目标模型的嵌入空间，而不是简单地拼接或平均。

Latent-Lens 怎么做：一个轻量编解码器

Latent-Lens 的核心是一个轻量级 codec，架在两个冻结模型之间，只训练极少参数。它由两部分组成：

• 领域编码器（domain encoder）：把 VLM 的隐藏状态投影到 SLM 的嵌入空间，完成跨模型的表示对齐；
• 注意力解码器（attention decoder）：以 LoRA 的形式实现，教会 SLM 关注这些视觉前缀（visual prefixes）。

整个训练只涉及约 1.6M 参数，而两个主干模型全程冻结。这意味着方法可以直接套用在现成的开源模型上，不需要联合微调，也不破坏原有模型能力。

LoRA（Low-Rank Adaptation） 是一种参数高效微调方法：它冻结预训练权重，在 Transformer 的线性层旁路注入一对低秩矩阵，用极少参数学习任务特定的增量。以 LoRA 形式实现注意力解码器，意味着解码器并不替换 SLM 原有结构，而是在其注意力计算上叠加一个可训练的低秩分支，引导 SLM 将投影得到的视觉前缀作为有效上下文来关注。这样既保持了 SLM 的冻结状态，也把可训练参数控制在百万量级，使跨模型桥接在普通开源模型上即可复现。

实验结果：隐空间明显优于文本

研究在视觉问答和图像描述两类任务上做了对比，基线是相同 LoRA 预算下的文本通信。

在 VQA 任务上，Latent-Lens 在 CLEVR 和 GQA 上的准确率分别为 81.0±7.9% 和 65.4±5.4%，而文本通信基线为 58.3±5.7% 和 61.8±1.0%。相对提升幅度在 30.2 到 69.8 个百分点之间（相对于冻结的文本通信）。

在图像描述任务（Flickr8k）上，Latent-Lens 相比同样的文本基线提升 +16.5，相比冻结版本提升 +18.8。

有意思的是，这些对比是在相同 LoRA 预算下进行的，排除了“参数更多所以更强”的解释。提升来自通信方式本身。

CLEVR 是合成视觉问答数据集，图像由简单几何体在受控光照和位置下渲染，问题主要考察计数、空间关系、属性比较，答案空间小、语言模板化，因此对细粒度空间信息高度敏感，文本有损压缩的代价在这里表现最明显。GQA 基于真实场景图生成，问题和答案更自然、词汇更丰富，考察组合推理。Flickr8k 则是图像描述数据集，每张图配五条人工描述，用于评估生成自然语言描述的能力，相比选择题式 VQA 更能检验信息是否在隐通信中保留下来。

跨架构验证

为了说明方法不是只对某一对模型有效，研究还用 TinyLlama-1.1B 和 InternVL2-1B 做了评估。这两个模型在架构、词表和隐藏维度上都不同，Latent-Lens 依然可以工作。这一点对实际部署很重要：真实系统里的 VLM 和 SLM 往往来自不同厂商、不同训练配方，隐空间对齐必须足够通用。

这意味着什么

Latent-Lens 的价值不在于刷新某个 benchmark，而在于它打开了一种新的组合方式：把“看”和“想”拆给不同规模的模型，同时不牺牲视觉细节。对于端侧或资源受限场景，用一个小 SLM 搭配一个冻结的视觉编码器，可能比硬塞一个完整 VLM 更划算。

当然，目前的方法仍依赖配对训练数据来学习投影，codec 的泛化边界、对更复杂视觉推理任务的支持，都还需要更多验证。但“冻结模型 + 轻量桥接”的思路，给多模型协作提供了一条务实的路径。