Transformer
Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Google于2017年提出。它通过并行处理序列数据、捕捉长距离依赖关系，克服了传统循环神经网络的局限性。该架构广泛应用于自然语言处理、计算机视觉、语音识别等领域，是当前大规模预训练语言模型（如BERT、GPT系列）的基础结构。
核心事实
时间轴 (近 90 天)
技术路线之争的例子包括：模型架构上Transformer与交替使用卷积和注意力的混合架构之争；训练方式上自监督学习与监督学习的取舍；部署策略上云端大模型与端侧小模型的权衡。
主流 Transformer 采用自注意力机制，标准实现的计算量与显存占用随序列长度呈平方级增长。
Mamba 从提出起就被视为少数有可能在通用序列建模上与 Transformer 正面竞争的路线之一。
即便 Mamba 验证通过，短期内更可能出现的是混合方案——在特定环节引入状态空间层，而非全盘替换 Transformer。
围绕 Transformer 已经积累了极其成熟的推理框架、算子库、硬件适配和调优经验。
新架构要获得与 Transformer 同等程度的工程支持，需要框架开发者实现定制算子、硬件厂商提供适配，并经过大量实际负载调优，这一过程通常以年为单位。
视频到游戏生成的典型技术路径包括：先通过视频理解模型（如基于Transformer的视频编码器）提取物体、动作和场景图，再通过规则引擎或生成模型构建游戏状态机、碰撞检测和交互逻辑。
生成式模型的代表性技术包括生成对抗网络（GAN）、变分自编码器（VAE）以及Transformer架构大语言模型。
以 Transformer 为例，每个神经元或注意力头的输出可以看作高维空间中的一个方向，改变该方向的投影强度会系统性地影响下游计算。
NCM模型包含一个压缩器（将文本编码为多层概念码）和一个Transformer生成器（预测下一层概念），每层一次前向传播。
还有 40 条时间轴事件
全部知识事实 (20)
KV 缓存是 Transformer 自回归推理中的核心数据结构，其大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数。
90%已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长
90%已验证自注意力机制通过将输入映射为Query、Key和Value三组向量，计算点积相似度后softmax归一化，再对Value加权求和生成融合全局上下文的表示
90%已验证The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
90%已验证现代LLM基于2017年Google提出的Transformer架构，其核心创新是自注意力机制（Self-Attention）
90%已验证Prefill阶段是计算密集型操作，Decode阶段是显存带宽密集型操作
90%已验证KV Cache占用的显存随序列长度线性增长
90%已验证大型语言模型处理长上下文时，注意力机制的计算复杂度与序列长度的平方成正比
90%已验证Vision Transformer（ViT）由Google在2020年提出，将图像分割为固定大小的patch作为序列输入Transformer编码器
90%已验证标准Transformer架构的自注意力机制计算复杂度为O(n²)
90%已验证Transformer架构于2017年由Google提出
90%已验证大语言模型基于Transformer架构，通过海量文本数据训练而成
90%已验证在Transformer架构中，系统指令的token会被放置在注意力机制的最前端，对后续所有生成内容产生持续性的约束影响
90%已验证Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%已验证Transformer架构由Google在2017年的论文《Attention Is All You Need》中提出
90%已验证标准自注意力机制（Self-Attention）的计算复杂度与序列长度呈平方关系（O(n²)）
90%已验证Transformer架构于2017年由Google Brain团队在论文《Attention Is All You Need》中提出
90%已验证Whisper是OpenAI于2022年开源的自动语音识别模型，采用Transformer架构，在68万小时多语言音频数据上训练而成
90%已验证Vision Transformer（ViT）由Google Brain团队于2020年提出，将Transformer架构引入计算机视觉领域
90%已验证GPT-4、Claude、Gemini等大语言模型的核心工作原理是基于Transformer架构的下一个token预测
90%