待验证50% 置信事实精确时间
稀疏激活路由机制在 Switch Transformer、Mixtral 等研究中得到验证，输入 token 经由门控网络动态分配给最相关的专家子网
1
来源数
50%
置信度
长期有效
时效性
2026/10/6
首次发现
来源
涉及实体
相关事实
待验证Switch Transformer将每个Token的专家选择简化为Top-1，并引入辅助损失函数防止Token涌向少数热门专家73% 相似待验证MoE 架构将传统 Transformer 中的前馈网络替换为多个并行专家子网络，通过门控网络按 Top-K 策略（通常K=2）选择部分专家参与计算69% 相似待验证该论文证明Transformer中的自注意力层本质上等价于现代Hopfield网络执行一次模式检索的更新规则，softmax函数对应Hopfield网络的能量极小化步骤69% 相似待验证残差连接是 Transformer 的核心创新之一，每一层的输出是输入加上该层的变换结果68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/979348API
curl https://kongchang.com/api/v1/knowledge/claims/979348MCP
get_claim(id=979348)