Transformer
Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Google于2017年提出。它通过并行处理序列数据、捕捉长距离依赖关系，克服了传统循环神经网络的局限性。该架构广泛应用于自然语言处理、计算机视觉、语音识别等领域，是当前大规模预训练语言模型（如BERT、GPT系列）的基础结构。
核心事实
时间轴 (近 90 天)
2017年提出的 Transformer 架构奠定了现代机器翻译的基石
2019年OpenAI推出的MuseNet首次将Transformer架构引入音乐生成，展示了多乐器、多风格音乐生成的可能性
近期研究ShortGPT发现Transformer模型中间层的隐藏状态之间往往存在高度余弦相似性，这些冗余层可被安全移除而对性能影响较小
在超长对话中，位于中间位置的信息会被模型注意力机制严重弱化，而对话开头和结尾的内容被赋予最高权重，即迷失在中间问题
Transformer架构的自注意力机制能捕捉序列中任意两个位置之间的关系，适合捕捉DNA序列的超长程依赖，优于传统卷积神经网络
LoRA主要应用于Transformer的Q、K、V、O四个投影矩阵
传统 Transformer 推理中每个请求的 KV Cache 需预先分配连续显存空间，因序列长度不可预知常按最大长度预分配，导致显存碎片浪费，实际利用率有时不足 50%
AlphaGenome采用了类似大型语言模型的Transformer架构,将DNA序列视为一种语言,通过自注意力机制捕捉序列中远距离碱基之间的相互作用
大语言模型的语义理解能力源自Transformer架构中的自注意力机制(Self-Attention)
AlphaGenome模型采用类似大型语言模型的Transformer架构,通过自注意力机制捕捉序列中远距离碱基之间的相互作用
还有 40 条时间轴事件
全部知识事实 (20)
标准Transformer架构的自注意力机制计算复杂度为O(n²)
90%已验证Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%已验证Transformer架构由Google在2017年的论文《Attention Is All You Need》中提出
90%已验证标准自注意力机制（Self-Attention）的计算复杂度与序列长度呈平方关系（O(n²)）
90%已验证Transformer架构于2017年由Google Brain团队在论文《Attention Is All You Need》中提出
90%已验证Vision Transformer（ViT）由Google Brain团队于2020年提出，将Transformer架构引入计算机视觉领域
90%已验证GPT-4、Claude、Gemini等大语言模型的核心工作原理是基于Transformer架构的下一个token预测
90%已验证大型语言模型处理长上下文时，注意力机制的计算复杂度与序列长度的平方成正比
80%已验证Transformer的自注意力机制允许模型直接计算序列中任意两个位置之间的依赖关系，突破了RNN/LSTM因顺序计算导致的并行化瓶颈
80%已验证自注意力机制将输入序列中每个词映射为Query、Key、Value三个向量，通过计算Query与Key的点积并经Softmax归一化得到注意力权重
80%已验证AI编码工具基于大型语言模型（LLM），通过在海量代码库上预训练学习代码的统计模式和语义结构，并使用Transformer架构理解上下文和生成连贯代码。
80%已验证大语言模型本质上是无状态函数，权重在推理时已经固定，不会随时间推移而学习
80%已验证注意力机制（Attention Mechanism）是Transformer架构的核心组件，也是当前所有主流大语言模型的基础
80%已验证GPT系列采用Transformer的解码器（Decoder-only）变体，通过自回归方式逐Token预测下一个词
80%已验证ViT（Vision Transformer）将图像切分为固定大小的16×16 patch序列后输入标准Transformer
80%已验证FLUX采用了DiT（Diffusion Transformer）架构，用纯Transformer替代了传统的U-Net结构
80%已验证大语言模型基于Transformer架构，通过海量文本数据训练而成
80%已验证当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构
80%已验证研究表明当上下文过长时，模型对中间部分信息的注意力会显著下降，即"Lost in the Middle"现象
80%已验证Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍
80%