概念vision tower / 视觉编码器

视觉塔

多模态模型中负责将图像编码成视觉 token 的子网络，通常基于 ViT 类结构，输出经投影层对齐到语言模型的嵌入空间，紧凑型设计通过降低分辨率或减少层数来压缩计算量。

时间轴 (近 90 天)

10月27日

变更 #19247 的标题为 'preserve small-image detail for compact Gemma 4 vision towers'，目标是在 Gemma 4 紧凑型视觉编码器处理图像时保留小尺寸图像的细节信息。

待验证50%

10月27日

视觉塔（vision tower）是多模态模型中负责把图像编码成视觉 token 的子网络，通常由 ViT 类结构堆叠而成，输出经投影层对齐到语言模型的嵌入空间。

待验证50%

变更 #19247 的标题为 'preserve small-image detail for compact Gemma 4 vision towers'，目标是在 Gemma 4 紧凑型视觉编码器处理图像时保留小尺寸图像的细节信息。

视觉塔（vision tower）是多模态模型中负责把图像编码成视觉 token 的子网络，通常由 ViT 类结构堆叠而成，输出经投影层对齐到语言模型的嵌入空间。