Unverified50% confidenceFactExact time
Transformer架构于2017年问世后，谷歌、OpenAI、Meta等机构几乎在同一年内各自完成了基于该架构的大型语言模型预研
1
Sources
50%
Confidence
Long-term
Relevance
7/25/2026
First Seen
Sources
Related Claims
Partially VerifiedTransformer架构于2017年提出，是自然语言编程真正落地的转折点之一71% similarVerified谷歌2021年发布的Switch Transformer将MoE大规模应用于Transformer语言模型，将模型容量扩展至万亿参数级别70% similarVerified2017年Google提出Transformer架构，2018年出现BERT，2020年后出现GPT系列模型，将NLP推向预训练+微调的大模型时代68% similarUnverifiedSwitch Transformer将专家数量扩展至2048个，2022年谷歌GLaM模型进一步验证了MoE在多任务泛化上的优势66% similarUnverifiedTransformers已经成为开源模型发布的标准渠道，形成了行业共识66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/613170API
curl https://kongchang.com/api/v1/knowledge/claims/613170MCP
get_claim(id=613170)