待验证70% 置信事实精确时间

MoE是一种稀疏激活架构，通过门控路由器每次只选择少数专家参与计算，使参数总量与实际计算量解耦

2

来源数

70%

置信度

长期有效

时效性

2026/9/15

首次发现

来源

DeepSeek-V4.1-Flash发布：552B MoE与Engram记忆架构解析

涉及实体

相关事实

待验证MoE架构每次前向传播时门控网络根据输入token特征动态选取Top-K个专家参与计算，其余专家保持静默75% 相似待验证现代 MoE 实现通过辅助损失函数解决专家崩溃/负载均衡问题66% 相似待验证新版本加入了 MoE 内核 ticket 调度器，通过动态任务分配缓解专家路由负载不均问题64% 相似待验证MoE更多是缓解而非根本解决灾难性遗忘，因为路由器会因新任务改变路由分配且负载均衡约束使完全隔离不现实62% 相似待验证MoE 架构将传统 Transformer 中的前馈网络替换为多个并行专家子网络，通过门控网络按 Top-K 策略（通常K=2）选择部分专家参与计算60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/921486

API

curl https://kongchang.com/api/v1/knowledge/claims/921486

MCP

get_claim(id=921486)