Unverified50% confidenceFactExact time
Universal Transformer于2018年提出，将同一个Transformer块反复应用于输入序列
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
7/2/2026
First Seen
Valid until: 9/30/2026
Sources
DiffusionBlocks：逐块训练神经网络，内存降低数倍的新方法
rss5/27/2026
Related Claims
UnverifiedTransformer于2017年提出后被快速引入时序预测领域76% similarUnverifiedSwitch Transformer于2021年提出，将每次路由的专家数量精简为175% similarUnverifiedTransformers库的前身名为pytorch-pretrained-bert，于2018年前后发布74% similarVerifiedTransformer架构于2017年提出，已在很大程度上取代了RNN在NLP领域的地位71% similarVerified谷歌2021年发布的Switch Transformer将MoE大规模应用于Transformer语言模型，将模型容量扩展至万亿参数级别69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/42797API
curl https://kongchang.com/api/v1/knowledge/claims/42797MCP
get_claim(id=42797)