待验证60% 置信事实精确时间

Google 的 Switch Transformer 于 2021 年证明在 Transformer 中每层仅将 Token 路由给单个专家（Top-1 路由）即可实现稳定训练，并将预训练速度相比同等规模稠密模型提升 7 倍以上

2

来源数

60%

置信度

长期有效

时效性

2026/7/17

首次发现

来源

Qwen3.5无审查版本地部署实测：6G显存轻松跑35B大模型

相关事实

待验证Transformer支持并行训练，是相对RNN/LSTM的重要突破，代表性模型为Google的BERT78% 相似待验证2017年Google提出的Transformer架构替代了此前的RNN/LSTM序列模型，其并行计算特性使训练规模得以指数级扩展73% 相似待验证Transformers与DeepSpeed、Accelerate等分布式训练工具无缝集成71% 相似待验证Transformer由Vaswani等人于2017年提出，其注意力机制与前馈网络组合使其在大规模预训练上取得革命性成功70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/537821

API

curl https://kongchang.com/api/v1/knowledge/claims/537821

MCP

get_claim(id=537821)