V-lens:无需训练解码器,统一多模态模型如何「看图说话」

V-lens 借统一多模态模型的图像生成器直接可视化隐藏状态,并用视觉监督提升表征清晰度。
V-lens 提出一种无需训练解码器的可解释性方法:利用统一多模态模型中理解与生成共享表征的结构,把任意 token 的隐藏状态直接送入图像生成器,画出模型此刻形成的概念。研究在四个扩散模型和两个自回归统一模型上验证了跨架构的通用性,并发现生成图像能揭示文本中未明说的中间概念。受控实验显示,可视化内容随上下文、token 位置与网络深度变化。在此基础上提出的 lens tuning 用生成图像监督选定隐藏状态,在三个模型上把代词指代的可视化正确率从 2–11% 提升至 86–94%,且未直接监督的文本答案质量也随之改善。方法目前依赖统一架构,评估主观性仍是开放问题。
当模型「思考」时,它看到了什么?
大型语言模型给出答案的过程,常常像一个黑箱:输入问题,输出答案,中间发生了什么难以窥见。传统的可解释性方法要么依赖注意力权重,要么需要额外训练一个解码器来还原隐藏状态。但一项名为 V-lens 的新研究提出了一条更直接的路径——利用统一多模态模型自带的图像生成能力,把隐藏状态「画」出来。
据该研究介绍,V-lens 可以可视化任意一个 token 的隐藏状态,而且无需训练任何解码器。这意味着我们有机会直接观察模型在回答问题时,中间层究竟形成了哪些概念。

为什么统一多模态模型是关键
统一多模态模型把「理解」和「生成」放在同一个架构里。这类模型在处理文本时形成的表征,可以直接被自身的图像生成器访问。V-lens 正是利用了这一连接:把某个 token 的隐藏状态喂给图像生成部分,得到一张反映该状态的图片。
研究覆盖了四个基于扩散的模型和两个纯自回归的统一模型。跨架构的验证说明,这种方法并非某个特定模型的偶然现象,而是统一架构下的一种共性能力。生成的图像能够揭示连接问题与答案的关键中间概念,即便这些概念从未在文本中被明确提及。
统一多模态模型(Unified Multimodal Model)指在同一套参数与架构中同时承担视觉理解(如图像问答、图文匹配)和视觉生成(如文生图)的模型,代表工作包括 BAGEL、Janus 系列、Chameleon 以及文章中提到的 HunyuanImage-3.0 等。其关键设计是把图像 token 与文本 token 映射到共享的表征空间,理解分支和生成分支共享或部分共享同一组隐藏状态。正因如此,模型为文本 token 计算出的隐藏向量在格式上与生成分支所需的条件向量相容,可以被直接送入图像解码器。这与「理解模型 + 外挂扩散模型」的拼接式架构不同:后者的文本表征与生成器之间没有原生通路,必须额外训练投影层或解码器才能对齐。V-lens 所依赖的正是这种原生共享结构。
需要补充的是,扩散模型与自回归模型在生成机制上差异明显:扩散模型通过多步去噪从噪声恢复图像,自回归模型则逐个预测离散的图像 token。V-lens 能在两类架构上同时奏效,说明其有效性更多来自「表征与生成器共享」这一结构特性,而非某一种特定的采样算法。
隐藏状态(hidden state)指 Transformer 在处理某个 token 时,于某一层输出的高维向量,它综合了该 token 自身的信息以及经由注意力机制聚合的上下文信息。通常一个模型有数十层,每一层都会为每个位置产生一个隐藏状态,因此「第几层、第几个 token」构成一个二维坐标,可解释性研究常在这个坐标上采样观察。V-lens 的可视化正是把某个坐标上的向量作为条件输入图像生成器。
与之相对,logit lens 是较早的一种免训练探查方法:把中间层隐藏状态直接乘以输出层的反嵌入矩阵,投影回词表空间,读出模型此刻「最想说的词」。V-lens 可视为这一思路在视觉模态上的推广——不再投影到词表,而是投影到图像空间,从而突破词表只能表达离散词汇、难以呈现复合概念的局限。
概念如何随上下文变化
研究团队做了受控测试,观察 V-lens 生成的内容如何随上下文、token 位置和网络深度而变化。结果显示,隐藏状态所「描绘」的概念不是静态的,它会根据上下文调整——同一个词在不同语境下,可视化出的内容可能指向不同的含义。
token 位置和层深同样影响可视化结果。这符合直觉:浅层可能保留更多表面信息,深层则更接近抽象语义。V-lens 提供了一种手段,让这些层次差异变得肉眼可见。
Lens tuning:用图片监督隐藏状态
在可视化之外,研究进一步提出了 lens tuning。做法是用 V-lens 生成的图片去监督选定的隐藏状态,相当于给模型的内部表征加了一层视觉约束。
在 BAGEL、SenseNova-U1 和 HunyuanImage-3.0 三个模型上,代词指代对象的正确可视化率从 2–11% 提升到了 86–94%。这个提升幅度说明,视觉监督能够有效地把隐藏状态「对齐」到更明确的概念上。
更出人意料的是,这种视觉监督还改善了文本答案的质量,尽管答案 token 本身并没有被直接监督。这暗示内部表征的清晰化可能对最终输出有正向迁移作用。
代词指代(pronoun resolution)指确定代词所指实体的任务,例如在「小明把书递给小红,因为他要复习」中判断「他」指向谁。这类任务要求模型在隐藏状态中保留并区分多个候选实体,是检验内部表征是否形成清晰概念绑定的常用探针。原文中 2–11% 的基线正确率,衡量的是把代词位置的隐藏状态经 V-lens 可视化后、能否在生成图像中呈现出正确实体;提升到 86–94% 意味着该位置的表征被「推向」了目标概念所在的区域。
lens tuning 的做法属于表征层干预:冻结模型主体,仅对选定位置的隐藏状态施加视觉监督损失,使这些状态在生成器看来更接近目标概念的图像。这与提示工程或微调输出层不同,它改动的是中间表征本身。原文提到答案 token 未被直接监督却改善了文本质量,一种可能解释是:概念绑定更清晰后,后续层在推理与选词时获得的输入更少歧义。
对可解释性与模型训练的意义
V-lens 的价值有两层。对可解释性研究而言,它提供了一种无需额外解码器的可视化工具,让中间概念变得可观察、可比较。对模型训练而言,lens tuning 展示了一种利用生成能力反哺理解能力的思路——图像不只是输出,也可以成为监督信号。
当然,这种方法目前依赖统一多模态架构,纯文本模型无法直接套用。可视化结果的解读也带有一定主观性,如何量化评估「画得准不准」仍是开放问题。研究团队已公开代码,后续工作可以在此基础上继续探索。
相关推荐

计算机科学家为何认为超级智能不会成真
计算机科学家Cal Newport从工程角度反驳超级智能叙事:递归自我改进受限于数据瓶颈与算力约束,超级智能未必可计算,LLM智能体的失控源于架构而非对齐难题。他警告,追逐ASI本身就是一种过失。

Holiday Extras员工把AI助手当“狗”养:Brian与Beast的真实工作日常
Holiday Extras员工将AI助手命名为Beast,每天早晚对话、提前准备会议数据、监控任务进展。本文还原一个真实用户如何把AI嵌入日常工作流,并给出低门槛启动建议。

十亿美元级合作:美国电池市场迎来转机?
Sila与Panasonic Energy签署十亿美元级硅碳负极供应协议,本文分析该交易对美国下一代电池市场、供应链本土化及商业化前景的影响。