待验证50% 置信事实精确时间

MoE 模型包含多个独立的专家前馈网络块，每生成一个 token 只路由到少数几个专家，例如 256 个中的 8 个。

1

来源数

50%

置信度

长期有效

时效性

2026/10/13

首次发现

来源

Janas 引擎让 32GB 笔记本跑 48GB MoE 模型，37 tok/s 超越 llama.cpp

涉及实体

相关事实

待验证MoE架构通过轻量级路由器决定每个输入token交由哪几位专家处理，主流实现中每个token通常只激活2到8个专家75% 相似待验证典型MoE层由若干专家前馈网络和一个路由器组成，路由器只将每个token分配给得分最高的Top-K个专家73% 相似待验证HYV4每个MoE层包含256个路由专家加1个始终激活的共享专家，每个token被路由到其中8个专家71% 相似待验证Ornith 1.5 是混合专家（MoE）模型，内部有256个专家，每个 Token 只激活8个专家，实际激活约3B参数68% 相似待验证混合专家模型（MoE）中每个输入token只会被路由到其中2-4个专家处理，其余专家保持休眠68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1017029

API

curl https://kongchang.com/api/v1/knowledge/claims/1017029

MCP

get_claim(id=1017029)