模型
Kolibri 1
Aleph Alpha 推出的面向德语和英语的 MoE 推理大模型，采用 sigmoid 路由和滑动窗口注意力与全注意力交替的架构
时间轴 (近 90 天)
10月15日
Aleph Alpha 的 Kolibri 1 是一个聚焦德语和英语的 MoE 推理模型，50 层中每层通过 sigmoid 路由将每个 token 分配给 384 个专家中的 6 个，并额外增加一个共享专家。
待验证50%
Aleph Alpha 推出的面向德语和英语的 MoE 推理大模型，采用 sigmoid 路由和滑动窗口注意力与全注意力交替的架构
Aleph Alpha 的 Kolibri 1 是一个聚焦德语和英语的 MoE 推理模型，50 层中每层通过 sigmoid 路由将每个 token 分配给 384 个专家中的 6 个，并额外增加一个共享专家。