待验证50% 置信事实精确时间

MoE 架构将传统 Transformer 中的前馈网络替换为多个并行专家子网络，通过门控网络按 Top-K 策略（通常K=2）选择部分专家参与计算

1

来源数

50%

置信度

长期有效

时效性

2026/9/3

首次发现

来源

llama.cpp本地部署Qwen模型教程：显卡适配与参数调优实战

涉及实体

MoEconcept Transformerconcept

相关事实

待验证MoE架构每次前向传播时门控网络根据输入token特征动态选取Top-K个专家参与计算，其余专家保持静默77% 相似待验证Switch Transformer将每个Token的专家选择简化为Top-1，并引入辅助损失函数防止Token涌向少数热门专家68% 相似已验证Transformer每层包含多头自注意力和前馈神经网络两个核心子模块63% 相似待验证残差连接是 Transformer 的核心创新之一，每一层的输出是输入加上该层的变换结果59% 相似待验证Decision Transformer等Transformer架构的引入为处理超长时序依赖提供了新工具59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/850085

API

curl https://kongchang.com/api/v1/knowledge/claims/850085

MCP

get_claim(id=850085)