Vision Transformer
将Transformer架构应用于图像处理的视觉模型，将图像分割为patches后作为序列输入Transformer，是DiT的核心骨干网络
核心事实
时间轴 (近 90 天)
[CLS] token由BERT引入，在视觉Transformer中拼接在patch token序列开头并经自注意力汇聚全图语义信息，但聚合过程会丢失大量空间局部信息
当图像中包含渲染文字时，模型会调用独立的感知到文本路由，而非转喻锚点通道
实验揭示模型早期层由感知基元主导，主要处理颜色、形状、纹理等低级视觉特征
arXiv论文《Metonymic Circuits for Abstract Concept Grounding in Vision Transformers》提出视觉Transformer通过转喻接地机制理解抽象概念
这些深度估计模型通常采用Vision Transformer骨干网络，在数百万乃至数十亿张图像上预训练
Register token 的概念最初由 Darcet 等人在 Vision Transformer 研究中提出，用于解决 ViT 中部分 patch token 出现异常高激活值的问题
何恺明等人在2021年提出的MAE将图像切分为patch后随机遮盖高达75%的patch，用Vision Transformer编码可见patch并重建被遮盖部分
CAPI是一种专注于patch级别表征学习的自监督方法，在Vision Transformer的patch token层面构建预训练目标
GPT-6 Astra采用了Vision Transformer(ViT)架构进行视觉处理
2020年前后Vision Transformer（ViT）的出现标志着计算机视觉领域的范式跃迁，ViT将图像分割为固定大小的块并应用Transformer的自注意力机制处理
还有 17 条时间轴事件
全部知识事实 (20)
Vision Transformer（ViT）由Google Brain团队于2020年提出，将Transformer架构引入计算机视觉领域
90%已验证ViT（Vision Transformer）将图像切分为固定大小的16×16 patch序列后输入标准Transformer
80%已验证VLM（视觉语言模型）的典型架构包含三个核心组件：视觉编码器（如ViT）、语言模型（通常是大型语言模型）、以及连接二者的投影层或适配器模块
70%已验证Vision Transformer将图像切分为16×16的patch作为基本处理单元
70%已验证农业场景下的图像识别主要基于深度学习中的卷积神经网络（CNN）及其变体，如ResNet、EfficientNet、Vision Transformer等模型架构
70%已验证视觉Transformer（ViT）将NLP领域的自注意力机制引入图像理解，将图像切分为图块作为序列处理
65%已验证Vision Transformer（ViT）由Google在2020年提出，将图像分割为固定大小的patch作为序列输入Transformer编码器
65%待验证Transformer架构被引入视觉生成（如Vision Transformer、DiT架构），使模型能更好理解图像不同区域间的全局关系，适用于多模态场景中文本token和图像token的统一处理
88%待验证GPT-6 Astra采用了Vision Transformer(ViT)架构进行视觉处理
60%待验证SAM 的架构由三部分组成：基于 Vision Transformer 的重型图像编码器、灵活的提示编码器、以及轻量级掩膜解码器
60%待验证CLIP包含两个并行编码器：文本编码器采用基于Transformer的架构（类似GPT-2的12层Transformer），视觉编码器有基于ResNet和基于ViT两种变体
60%待验证现代多模态模型的视觉理解通常基于ViT架构，图像被切分为固定尺寸Patch（通常16×16或32×32像素）并线性投影为向量嵌入
60%待验证LayoutLM、Donut是专用文档理解模型的代表
60%待验证2420万像素属于中等分辨率，追求高像素大幅裁切或商业风光大图输出的用户建议看更高像素机型
60%待验证[CLS] token由BERT引入，在视觉Transformer中拼接在patch token序列开头并经自注意力汇聚全图语义信息，但聚合过程会丢失大量空间局部信息
50%待验证实验揭示模型早期层由感知基元主导，主要处理颜色、形状、纹理等低级视觉特征
50%待验证当图像中包含渲染文字时，模型会调用独立的感知到文本路由，而非转喻锚点通道
50%待验证arXiv论文《Metonymic Circuits for Abstract Concept Grounding in Vision Transformers》提出视觉Transformer通过转喻接地机制理解抽象概念
50%待验证这些深度估计模型通常采用Vision Transformer骨干网络，在数百万乃至数十亿张图像上预训练
50%待验证Register token 的概念最初由 Darcet 等人在 Vision Transformer 研究中提出，用于解决 ViT 中部分 patch token 出现异常高激活值的问题
50%