待验证50% 置信事实精确时间

HYV4每个MoE层包含256个路由专家加1个始终激活的共享专家，每个token被路由到其中8个专家

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

Transformers 5.17.0发布：新增6款模型与RoPE统一重构

涉及实体

相关事实

待验证典型MoE层由若干专家前馈网络和一个路由器组成，路由器只将每个token分配给得分最高的Top-K个专家68% 相似待验证MoE架构通过轻量级路由器决定每个输入token交由哪几位专家处理，主流实现中每个token通常只激活2到8个专家65% 相似待验证混合专家模型（MoE）中每个输入token只会被路由到其中2-4个专家处理，其余专家保持休眠63% 相似待验证系统绘制完成后通过四个子代理并行进行连接规则校验61% 相似待验证Ornith 1.5 是混合专家（MoE）模型，内部有256个专家，每个 Token 只激活8个专家，实际激活约3B参数59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/972032

API

curl https://kongchang.com/api/v1/knowledge/claims/972032

MCP

get_claim(id=972032)