待验证50% 置信事实精确时间

在Transformer出现之前，主流的序列建模方法是循环神经网络（RNN）及其变体LSTM和GRU

1

来源数

50%

置信度

长期有效

时效性

2026/8/26

首次发现

来源

Transformer是什么？一文读懂所有AI大模型的核心技术

涉及实体

RNNconcept LSTMconcept GRUconcept

相关事实

待验证在Transformer之前，主流序列模型RNN及LSTM在处理长序列时存在梯度消失问题75% 相似待验证自回归模型每多生成一个token就多获得一次Transformer前向传播的计算机会，用序列长度换取计算深度72% 相似已验证自注意力机制取代了此前主流的RNN/LSTM，当前所有主流大模型均为Transformer变体72% 相似待验证Transformer模型具有无状态特性，所有历史交互信息必须在每次前向传播时以显式token序列完整输入到上下文窗口中70% 相似待验证大模型（LLM）是基于Transformer架构、经过海量数据预训练的深度神经网络模型70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/802423

API

curl https://kongchang.com/api/v1/knowledge/claims/802423

MCP

get_claim(id=802423)