Transformer
Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Google于2017年提出。它通过并行处理序列数据、捕捉长距离依赖关系，克服了传统循环神经网络的局限性。该架构广泛应用于自然语言处理、计算机视觉、语音识别等领域，是当前大规模预训练语言模型（如BERT、GPT系列）的基础结构。
核心事实
时间轴 (近 90 天)
BERT于2018年提出，基于Transformer编码器，通过掩码语言模型和下一句预测任务进行预训练。
在实验3中，研究者移除输入输出层、仅保留四个Transformer块，LLM全部正确判断模型训练语言（Python、英语、罗马字日语），并能定位负责复制的注意力头（归纳头）。
边缘稳定性现象在标准训练的全连接网络和Transformer中均有观察。
在合成数据上，SAEs恢复模式的效果优于经典稀疏基线方法，包括在Transformer编码的嵌入上。
研究者将方法应用于两个真实世界数据集中的经典用户嵌入和基于Transformer的用户嵌入，验证了其有效性。
C2C 框架最初的动机是让基于 Transformer 的语言模型智能体之间不仅通过文本交流，还能直接通过 KV 缓存传递状态。
Transformer类模型的训练计算量大致与参数量、训练token数成正比。
LoRA（低秩适配）冻结原模型全部参数，在Transformer注意力层旁路插入两个小矩阵A和B，将权重更新表示为低秩分解 ΔW = BA，只训练这两个小矩阵。
Transformer 是当前主流文本模型的基础架构，由多头自注意力层和前馈网络层交替堆叠而成。
从Transformer中间层采样嵌入能显著缩短端到端评估时间。
还有 40 条时间轴事件
全部知识事实 (20)
KV 缓存是 Transformer 自回归推理中的核心数据结构，其大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数。
90%已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长
90%已验证自注意力机制通过将输入映射为Query、Key和Value三组向量，计算点积相似度后softmax归一化，再对Value加权求和生成融合全局上下文的表示
90%已验证The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
90%已验证现代LLM基于2017年Google提出的Transformer架构，其核心创新是自注意力机制（Self-Attention）
90%已验证Prefill阶段是计算密集型操作，Decode阶段是显存带宽密集型操作
90%已验证KV Cache占用的显存随序列长度线性增长
90%已验证大型语言模型处理长上下文时，注意力机制的计算复杂度与序列长度的平方成正比
90%已验证注意力机制（Attention Mechanism）是Transformer架构的核心组件，也是当前所有主流大语言模型的基础
90%已验证Vision Transformer（ViT）由Google在2020年提出，将图像分割为固定大小的patch作为序列输入Transformer编码器
90%已验证标准Transformer架构的自注意力机制计算复杂度为O(n²)
90%已验证Transformer架构于2017年由Google提出
90%已验证大语言模型基于Transformer架构，通过海量文本数据训练而成
90%已验证在Transformer架构中，系统指令的token会被放置在注意力机制的最前端，对后续所有生成内容产生持续性的约束影响
90%已验证Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%已验证Transformer架构由Google在2017年的论文《Attention Is All You Need》中提出
90%已验证标准自注意力机制（Self-Attention）的计算复杂度与序列长度呈平方关系（O(n²)）
90%已验证Transformer架构于2017年由Google Brain团队在论文《Attention Is All You Need》中提出
90%已验证Whisper是OpenAI于2022年开源的自动语音识别模型，采用Transformer架构，在68万小时多语言音频数据上训练而成
90%已验证Vision Transformer（ViT）由Google Brain团队于2020年提出，将Transformer架构引入计算机视觉领域
90%