待验证50% 置信事实精确时间

Switch Transformer将每个Token的专家选择简化为Top-1，并引入辅助损失函数防止Token涌向少数热门专家

1

来源数

50%

置信度

长期有效

时效性

2026/8/27

首次发现

来源

FreeToken：753B大模型塞进单卡的本地部署硬件账该怎么算

涉及实体

Switch Transformerconcept

相关事实

待验证残差连接是 Transformer 的核心创新之一，每一层的输出是输入加上该层的变换结果70% 相似待验证Decision Transformer等Transformer架构的引入为处理超长时序依赖提供了新工具66% 相似待验证Transformer通过Self-Attention机制计算输入序列中所有Token之间的相关性权重，放弃状态延续换取并行训练能力和水平扩展性64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/810406

API

curl https://kongchang.com/api/v1/knowledge/claims/810406

MCP

get_claim(id=810406)