Unverified50% confidenceFactExact time
Transformer由Vaswani等人于2017年提出，其注意力机制与前馈网络组合使其在大规模预训练上取得革命性成功
1
Sources
50%
Confidence
Long-term
Relevance
7/17/2026
First Seen
Sources
Related Claims
UnverifiedTransformer支持并行训练，是相对RNN/LSTM的重要突破，代表性模型为Google的BERT74% similarVerified与RNN/LSTM架构相比，Transformer在训练时可以高度并行化，使训练数千亿参数的模型成为可能71% similarUnverified2017年Transformer架构问世后，训练前沿模型所需的计算资源呈指数级增长71% similarUnverifiedGoogle 的 Switch Transformer 于 2021 年证明在 Transformer 中每层仅将 Token 路由给单个专家（Top-1 路由）即可实现稳定训练，并将预训练速度相比同等规模稠密模型提升 7 倍以上70% similarUnverifiedTransformer、残差连接、批归一化等突破性架构与训练技巧均先在实践中被证明有效，理论解释往往滞后数年67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/544269API
curl https://kongchang.com/api/v1/knowledge/claims/544269MCP
get_claim(id=544269)