待验证50% 置信事实精确时间

2017年Google提出的Transformer架构替代了此前的RNN/LSTM序列模型，其并行计算特性使训练规模得以指数级扩展

1

来源数

50%

置信度

长期有效

时效性

2026/7/8

首次发现

来源

半AI模式：接口自动化测试落地实践指南

bilibili京东测试工程师2026/7/6

相关事实

已验证与RNN/LSTM架构相比，Transformer在训练时可以高度并行化，使训练数千亿参数的模型成为可能78% 相似待验证2017年Transformer架构问世后，训练前沿模型所需的计算资源呈指数级增长75% 相似待验证Google 的 Switch Transformer 于 2021 年证明在 Transformer 中每层仅将 Token 路由给单个专家（Top-1 路由）即可实现稳定训练，并将预训练速度相比同等规模稠密模型提升 7 倍以上73% 相似待验证现代嵌入模型通常基于Transformer架构，通过大规模对比学习训练，典型嵌入维度从128维到4096维不等70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/246355

API

curl https://kongchang.com/api/v1/knowledge/claims/246355

MCP

get_claim(id=246355)