视觉编码器
多模态模型中负责将图像转化为特征向量或token序列的神经网络组件，是VLM架构中处理视觉输入的核心模块
核心事实
时间轴 (近 90 天)
当前主流多模态架构可概括为'视觉编码器+语言模型'的拼接范式，隐含假设是语言才是通用推理的载体。
视觉编码器通常由卷积神经网络（CNN）或视觉Transformer（ViT）构成，将图像切成若干块或区域并逐块提取高维特征向量。
多模态大模型（MLLMs）是能够同时处理和理解文本、图像、音频、视频等多种模态信息的大规模神经网络模型，通常基于Transformer架构，通过在大规模多模态数据上进行预训练获得跨模态对齐能力。
将两个视觉视图整合到同一个语言模型中，需要通过视觉token和多层级特征融合注入共享的语言模型骨干，以避免早期简单拼接丢失各自特性。
VLM（视觉语言模型）是一类同时接受图像与文本输入、并在共享表示空间中进行推理的模型。
语言模型采用W8A8量化版本，格式为RKLLM；视觉编码器使用RKNN格式。
该部署使用两个模型文件：语言模型负责生成回答，视觉编码器负责处理图片；纯文字提问只走语言模型，上传图片时图片先经过视觉编码器提取特征，再与问题一起交给语言模型。
部署排查建议：调试时若文字问答正常但图片问答失败，问题大概率出在视觉编码器链路而非语言模型本身；启动报错时先定位发生在哪一步（找不到库还是模型加载失败）再排查。
Claude接收截图时，图像先被视觉编码器切分成图像块（patch），每块转换为视觉Token，再与文本Token拼接进入同一上下文窗口。
视觉编码器参数量极小（通常几百 MB），无需重新训练主模型，只需加载额外权重即可激活图像理解能力
还有 3 条时间轴事件
全部知识事实 (14)
多模态大语言模型通过对比学习将视觉编码器（如CLIP、ViT）与语言模型对齐
75%部分验证VLM（视觉语言模型）是一类同时接受图像与文本输入、并在共享表示空间中进行推理的模型。
75%待验证当前主流多模态架构可概括为'视觉编码器+语言模型'的拼接范式，隐含假设是语言才是通用推理的载体。
50%待验证视觉编码器通常由卷积神经网络（CNN）或视觉Transformer（ViT）构成，将图像切成若干块或区域并逐块提取高维特征向量。
50%待验证多模态大模型（MLLMs）是能够同时处理和理解文本、图像、音频、视频等多种模态信息的大规模神经网络模型，通常基于Transformer架构，通过在大规模多模态数据上进行预训练获得跨模态对齐能力。
50%待验证将两个视觉视图整合到同一个语言模型中，需要通过视觉token和多层级特征融合注入共享的语言模型骨干，以避免早期简单拼接丢失各自特性。
50%待验证部署排查建议：调试时若文字问答正常但图片问答失败，问题大概率出在视觉编码器链路而非语言模型本身；启动报错时先定位发生在哪一步（找不到库还是模型加载失败）再排查。
50%待验证语言模型采用W8A8量化版本，格式为RKLLM；视觉编码器使用RKNN格式。
50%待验证该部署使用两个模型文件：语言模型负责生成回答，视觉编码器负责处理图片；纯文字提问只走语言模型，上传图片时图片先经过视觉编码器提取特征，再与问题一起交给语言模型。
50%待验证Claude接收截图时，图像先被视觉编码器切分成图像块（patch），每块转换为视觉Token，再与文本Token拼接进入同一上下文窗口。
50%待验证视觉编码器参数量极小（通常几百 MB），无需重新训练主模型，只需加载额外权重即可激活图像理解能力
50%待验证NVIDIA提出的Encode-Prefill-Decode(EPD)分离技术,通过将视觉编码器从预填充和解码阶段解耦,独立部署与调度,提升多模态模型服务效率
50%待验证当今主流视觉编码器在底层架构上高度相似,几乎都基于Transformer
50%待验证视觉编码器之间真正的差异不在于模型结构,而在于训练目标
50%