待验证50% 置信事实精确时间
Aleph Alpha 的 Kolibri 1 是一个聚焦德语和英语的 MoE 推理模型，50 层中每层通过 sigmoid 路由将每个 token 分配给 384 个专家中的 6 个，并额外增加一个共享专家。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
涉及实体
相关事实
待验证典型 MoE 配置如 Mixtral 8x7B，每层有 8 个专家，每个 token 只被路由到其中 2 个，单次激活参数量约为总量的三分之一（加上共享权重）。66% 相似待验证在MoE模型中每个token只激活少量Expert（通常2-4个，Top-K路由），实际计算量可能仅相当于6-7B的Dense模型63% 相似待验证MoE的路由器通常采用Top-K机制，对每个token只选择得分最高的K个专家，常见配置为K=258% 相似已验证Kimi K2.6采用混合专家（MoE）架构，总参数量达1万亿级别，实际激活参数仅32B58% 相似待验证LFM2.5-24B-A2B 总参数量为 240 亿，采用 MoE 架构，每区块 64 个专家、Top-4 动态路由，每个 token 仅激活 24.5 亿参数。57% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1039064API
curl https://kongchang.com/api/v1/knowledge/claims/1039064MCP
get_claim(id=1039064)