Unverified50% confidenceFactExact time
在Transformer出现之前，主流的序列建模方法是循环神经网络（RNN）及其变体LSTM和GRU
1
Sources
50%
Confidence
Long-term
Relevance
8/26/2026
First Seen
Sources
Related Entities
Related Claims
Unverified在Transformer之前，主流序列模型RNN及LSTM在处理长序列时存在梯度消失问题75% similarUnverified自回归模型每多生成一个token就多获得一次Transformer前向传播的计算机会，用序列长度换取计算深度72% similarVerified自注意力机制取代了此前主流的RNN/LSTM，当前所有主流大模型均为Transformer变体72% similarUnverifiedTransformer模型具有无状态特性，所有历史交互信息必须在每次前向传播时以显式token序列完整输入到上下文窗口中70% similarUnverified大模型（LLM）是基于Transformer架构、经过海量数据预训练的深度神经网络模型70% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/802423API
curl https://kongchang.com/api/v1/knowledge/claims/802423MCP
get_claim(id=802423)