RNN
循环神经网络（Recurrent Neural Network，RNN）是一类专为处理序列数据设计的深度学习模型。其核心特征是神经元之间存在循环连接，通过在时间步之间传递隐藏状态来捕捉序列的上下文依赖关系。广泛应用于自然语言处理、语音识别、时间序列预测等领域。基础RNN存在梯度消失和梯度爆炸问题，由此衍生出LSTM（长短期记忆网络）和GRU等改进变体，以更有效地建模长程依赖。
核心事实
The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
Transformer通过自注意力机制让模型处理每个token时能动态关注序列中所有其他token，并实现完全并行化训练
时间轴 (近 90 天)
经典实验表明普通RNN在间隔超过约10-20个词时几乎无法正确捕捉依赖关系。
RNN时代模型严格按从左到右顺序逐词阅读且不回头看，导致隐藏状态推进时上下文信息严重衰减，即长期依赖问题。
自注意力机制通过动态计算元素与序列中所有其他元素的关联权重，在一次前向传播中捕捉任意距离的依赖关系，克服了RNN/LSTM中梯度消失导致的长程依赖困难
RNN/LSTM 结构的翻译模型中梯度爆炸问题尤其突出，因为长序列的反向传播容易累积过大梯度
RNN把记忆保存在一个循环隐藏状态里，状态随着时间步逐步向前传递
模型可以拥有约O(N²)量级的参数，却只携带约O(N)量级的跨时间状态，存在容量与记忆的不匹配
该研究宣称在混沌动力学系统的时间序列上将非线性RNN的训练速度提升了超过两个数量级（>100倍）
RNN的前向传播本质上是串行的，每一步计算依赖前一步的输出，计算复杂度随序列长度T线性增长为O[T]
在Transformer之前的RNN只能逐词顺序处理，Transformer可以并行处理整个序列从而大幅提升训练效率
RNN必须按顺序逐步计算，难以并行化，训练和推理效率受限
还有 27 条时间轴事件
全部知识事实 (20)
The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
90%已验证Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%已验证Transformer通过自注意力机制让模型处理每个token时能动态关注序列中所有其他token，并实现完全并行化训练
85%已验证自注意力机制允许模型在处理每个词元时同时参考序列中所有其他词元的上下文信息，而非像RNN那样顺序处理
80%已验证Transformer的自注意力机制允许模型直接计算序列中任意两个位置之间的依赖关系，突破了RNN/LSTM因顺序计算导致的并行化瓶颈
80%已验证自注意力机制能够捕捉序列中任意两个位置之间的依赖关系
80%已验证RNN存在梯度消失/爆炸问题，梯度跨越大量时间步传递时会指数级衰减或膨胀，导致难以学习远距离依赖
75%已验证David Ha与Schmidhuber在2018年发表了论文《World Models》，展示了智能体如何在梦境中完成强化学习训练
75%已验证Transformer每层包含多头自注意力和前馈神经网络两个核心子模块
75%已验证Transformer通过自注意力机制实现了对长文本的高效建模
70%已验证Transformer架构于2017年提出，已在很大程度上取代了RNN在NLP领域的地位
70%已验证在Transformer出现之前，自然语言处理领域主要依赖RNN和LSTM来处理序列数据，这些架构必须按顺序逐词处理文本，无法并行计算
70%已验证相比传统循环神经网络（RNN）处理长文本时容易遗忘前面内容，Transformer可以同时分析文本的多个部分
65%已验证深度学习时代基于CNN和RNN的端到端模型（如CRNN架构）大幅提升了OCR识别能力，近年Transformer架构也被引入OCR领域
65%已验证Transformer的核心创新是用自注意力机制替代RNN的时序处理方式，实现了高度并行化训练，但放弃了RNN的隐状态跨时间步传递机制
65%已验证LSTM通过引入遗忘门、输入门、输出门三个控制机制，解决了标准RNN在处理长序列时的梯度消失问题
65%待验证Google的Quick, Draw!项目于2016年发布，是一个基于循环神经网络（RNN）的涂鸦识别系统
90%部分验证The self-attention mechanism allows the model to attend to information at all positions simultaneously, eliminating the sequential dependency limitations of RNNs/LSTMs
65%待验证相比RNN和LSTM在长文本中会遗忘前面内容，Transformer所有位置计算可并行执行，训练效率远超RNN和LSTM
60%待验证Transformer的无状态特性源于多头自注意力机制，模型权重在推理阶段严格冻结，不存在跨请求的隐状态传递
60%