ViT
Vision Transformer（ViT）是一种将Transformer架构直接应用于计算机视觉任务的深度学习模型。其核心机制是将输入图像切分为固定大小的图像块（patch），将每个图像块线性嵌入为序列向量，再通过标准Transformer编码器进行特征提取与分类。ViT突破了卷积神经网络在视觉领域的主导地位，在大规模数据预训练后可在多种图像识别任务上达到具有竞争力的性能。
核心事实
时间轴 (近 90 天)
表征环境的压缩过程通常由编码器完成，常见实现包括CNN、ViT或VAE
实验表明将CNN与ViT结合使用时取得了最好的结果
Vision Transformer（ViT）在理解棋盘时非常缓慢，因缺乏对局部空间结构的内置假设导致训练初期收敛慢
一位开发者将Stockfish的价值函数蒸馏到一个ResNet/ViT混合神经网络中
几乎所有主流视觉骨干网络（ResNet、EfficientNet、ViT等）都在ImageNet上进行过预训练
PIXEL模型（2022）将文本渲染为图像patch序列输入ViT编码器，从而完全绕开词表设计和OOV问题
Token Merging（ToMe）最初由 Bolya 等人在 2022 年提出，用于加速视觉 Transformer（ViT）的图像分类推理
主流VLM通常采用预训练的Vision Transformer(ViT)作为视觉编码器,如CLIP ViT、SigLIP等
Transformer统治了NLP领域，并通过ViT等变体扩展到计算机视觉、语音识别、蛋白质结构预测等AI子领域
2020年前后Vision Transformer（ViT）的出现标志着计算机视觉领域的范式跃迁，ViT将图像分割为固定大小的块并应用Transformer的自注意力机制处理
还有 13 条时间轴事件
全部知识事实 (20)
Vision Transformer（ViT）由Google Brain团队于2020年提出，将Transformer架构引入计算机视觉领域
90%已验证Qwen-VL是阿里巴巴达摩院推出的视觉语言模型系列，基于Qwen大语言模型扩展而来，采用ViT视觉编码器与Qwen语言模型的组合架构，通过位置感知的视觉-语言适配器实现跨模态对齐
85%已验证ViT（Vision Transformer）将图像切分为固定大小的16×16 patch序列后输入标准Transformer
80%已验证VLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL
80%已验证AI是效率放大器，不是专业能力的替代品，智能体系统的架构设计仍需扎实技术功底
80%已验证多模态大模型的技术基础是视觉编码器（如ViT）与语言模型的联合训练，使模型能将像素空间视觉信息映射到与文本共享的语义空间
75%已验证当前主流多模态LLM通过视觉编码器（通常是CLIP或ViT系列）将图像转换为token序列，再经线性投影层或交叉注意力机制与文本空间对齐
75%已验证图像生成模型通常采用CLIP或类似跨模态编码器将文本映射为高维向量，再由U-Net或DiT架构在潜空间逐步去噪生成图像
75%已验证VLM（视觉语言模型）的典型架构包含三个核心组件：视觉编码器（如ViT）、语言模型（通常是大型语言模型）、以及连接二者的投影层或适配器模块
70%已验证Vision Transformer将图像切分为16×16的patch作为基本处理单元
70%已验证农业场景下的图像识别主要基于深度学习中的卷积神经网络（CNN）及其变体，如ResNet、EfficientNet、Vision Transformer等模型架构
70%已验证VLM由视觉编码器、语言模型骨干和跨模态对齐模块三部分构成
65%已验证2020年Google提出的ViT（Vision Transformer）证明将图像切分为16×16小块后，Transformer在图像分类任务上可以达到甚至超越CNN的性能
65%已验证Transformers框架支持的文本模型包括GPT、BERT、LLaMA、T5等，视觉模型包括ViT、CLIP、Stable Diffusion等，音频模型包括Whisper、Wav2Vec等，多模态模型包括LLaVA、Qwen-VL等
65%待验证Video-LLM的核心架构通常由视觉编码器、投影层和大语言模型主干三部分组成
95%待验证特征提取阶段模型通过卷积神经网络（CNN）或视觉Transformer（ViT）等架构将原始像素转化为抽象特征向量
90%待验证ViT与卷积神经网络不同，从第一层起就能捕获图像中任意两个位置之间的关联
60%待验证ViT的核心思想是将图像切分为固定大小的图块（Patch），将每个图块展平后视为序列中的一个Token，再通过多头自注意力机制建模全局依赖关系
60%待验证表征环境的压缩过程通常由编码器完成，常见实现包括CNN、ViT或VAE
50%待验证Vision Transformer（ViT）在理解棋盘时非常缓慢，因缺乏对局部空间结构的内置假设导致训练初期收敛慢
50%