Transformer
Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Google于2017年提出。它通过并行处理序列数据、捕捉长距离依赖关系，克服了传统循环神经网络的局限性。该架构广泛应用于自然语言处理、计算机视觉、语音识别等领域，是当前大规模预训练语言模型（如BERT、GPT系列）的基础结构。
Core Facts
Timeline (last 90 days)
Scaling Law描述了Transformer模型性能与参数量、数据量、计算量之间存在可预测的幂律关系
大模型基于Transformer架构，其推理过程是无状态的，每次请求都是独立的前向传播计算，模型本身不会在请求间保留任何信息
在大模型设计中，简单且能充分利用GPU算力的架构比理论上更优雅但训练缓慢的复杂架构更有优势
预训练的核心目标是让模型具备预测下一个词（Predict Next Token）的能力，基于Transformer架构中的因果注意力机制
上下文污染指无关或有害信息占据模型有限的上下文窗口空间，导致模型注意力被分散、推理质量下降
当关键信息被放置在长文本的中间位置时，模型的检索和推理准确率会显著下降，而放在开头或结尾的信息则能被较好地利用
Transformer架构于2017年提出，已在很大程度上取代了RNN在NLP领域的地位
注意力机制（Attention Mechanism）是Transformer架构的核心组件，也是当前所有主流大语言模型的基础
Media3 Transformer是一个基于管道架构的媒体转码和编辑框架，AI FX库作为其效果插件，底层依赖MediaPipe或TensorFlow Lite模型进行推理
Qlib内置了多种机器学习模型（如LightGBM、LSTM、Transformer等）用于股票预测，并支持自定义因子和策略开发
40 more timeline events
All Facts (15)
Transformer架构于2017年提出，已在很大程度上取代了RNN在NLP领域的地位
95%Unverified上下文污染指无关或有害信息占据模型有限的上下文窗口空间，导致模型注意力被分散、推理质量下降
95%UnverifiedScaling Law描述了Transformer模型性能与参数量、数据量、计算量之间存在可预测的幂律关系
90%VerifiedGPT-4、Claude、Gemini等大语言模型的核心工作原理是基于Transformer架构的下一个token预测
90%Verified标准Transformer架构的自注意力机制计算复杂度为O(n²)
90%VerifiedTransformer架构由Google在2017年的论文《Attention Is All You Need》中提出
90%UnverifiedQlib内置了多种机器学习模型（如LightGBM、LSTM、Transformer等）用于股票预测，并支持自定义因子和策略开发
85%UnverifiedAnthropic建议CLAUDE.md文件保持简洁，因为过长的内容会导致Claude开始忽略部分信息，这与Transformer架构中的注意力稀释现象有关
85%Unverified含光系列是阿里旗下平头哥半导体自主研发的AI推理芯片，针对Transformer架构做了深度定制优化
85%Verified注意力机制（Attention Mechanism）是Transformer架构的核心组件，也是当前所有主流大语言模型的基础
80%VerifiedWhisper是OpenAI于2022年开源的自动语音识别模型，采用Transformer架构，在68万小时多语言音频数据上训练而成
80%Unverified在大模型设计中，简单且能充分利用GPU算力的架构比理论上更优雅但训练缓慢的复杂架构更有优势
80%Verified大模型基于Transformer架构，其推理过程是无状态的，每次请求都是独立的前向传播计算，模型本身不会在请求间保留任何信息
65%Unverified当关键信息被放置在长文本的中间位置时，模型的检索和推理准确率会显著下降，而放在开头或结尾的信息则能被较好地利用
60%Unverified预训练的核心目标是让模型具备预测下一个词（Predict Next Token）的能力，基于Transformer架构中的因果注意力机制
60%