OVH开源Olala mini 7A1B:8GB显存跑160 tokens/s的MoE模型

OVH开源Olala mini 7A1B:7B总参1B激活的MoE模型,8GB显存可跑,A4500上160 tokens/s。
OVH 发布开源语言模型 Olala mini 7A1B,采用混合专家架构,总参数 7B、每请求仅激活约 1B 参数,每层含 256 个专家。注意力机制结合 Differential-TPA 与 Mamba-3,以 BF16 格式发布。其最大卖点是硬件门槛低:8GB 显存即可运行,在 RTX A4500 上达 160 tokens/s,纯 CPU 也有 50 tokens/s,上下文窗口 32K。模型将以 Apache 2.0 许可证在 Hugging Face 开源,允许商业使用。文章认为这反映了云厂商通过稀疏模型降低推理成本的趋势,也指出 MoE 加混合注意力正成为高效小模型的主流配方,但其实际下游表现仍待社区检验。
OVH 近日发布了 Olala mini 7A1B,一款基于混合专家(MoE)架构的开源语言模型。它最引人注目的地方在于,仅需 8GB 显存的 GPU 就能运行,并且在 RTX A4500 上达到 160 tokens/s 的生成速度——这个数字在消费级硬件上相当可观。

架构设计:7B总参数,每次只激活一小部分
Olala mini 的名字已经透露了核心信息:7B 总参数,A1B 表示每个请求只激活约 10 亿参数。具体来说,模型每一层包含 256 个专家,但推理时只会路由到其中一小部分。这种稀疏激活策略让模型在保持较大参数容量的同时,大幅降低了实际计算量和显存占用。
注意力机制上,Olala mini 采用了 Differential-TPA 与 Mamba-3 结合的混合方案。Mamba 系列以线性复杂度处理长序列见长,与 Transformer 注意力互补,这种组合在近期的高效模型设计中逐渐成为趋势。模型以 BF16 格式发布,兼顾精度与推理效率。
MoE(混合专家)路由机制:MoE 层通常由一个门控网络(router)为每个 token 计算各专家的权重,再选择 top-k 个专家参与计算。Olala mini 每层有 256 个专家但只激活一小部分,这意味着每个 token 实际经过的 FFN 子网络远少于总数,计算量按激活专家数而非总专家数计。代价是路由本身的开销、专家间负载不均衡可能导致的训练不稳定,以及显存中仍需容纳全部专家权重——这也是 7B 总参数模型仍需约 8GB 显存的原因之一。
Mamba 与线性复杂度:Mamba 属于状态空间模型(SSM),通过选择性扫描机制以 O(n) 复杂度处理序列,而非 Transformer 注意力的 O(n²)。这使得长序列推理时 KV Cache 的显存占用大幅下降,也是 Olala mini 能在 8GB 显存下支持 32K 上下文的关键。Differential-TPA 可理解为一种带差分机制的注意力变体,与 Mamba 层交替堆叠,兼顾局部精确检索与长程线性建模。这种“注意力+SSM”混合结构在 Jamba、Zamba 等模型中已有先例。
性能表现:GPU与CPU都能跑出可用速度
根据官方公布的数据,Olala mini 在 RTX A4500 上达到 160 tokens/s,即便完全不用 GPU、在标准处理器上运行,也能达到 50 tokens/s。后者意味着没有独立显卡的普通开发机或笔记本也有机会本地跑起来,这对隐私敏感或离线场景很有吸引力。
显存门槛低至 8GB,是这款模型最实用的卖点之一。当前主流中端显卡普遍配备 8GB 以上显存,这意味着大量现有设备可以直接部署,而不需要升级硬件。上下文窗口目前为 32,000 tokens,足以覆盖多数对话和文档处理任务。
开源策略与生态意义
Olala mini 将以 Apache 2.0 许可证在 Hugging Face 上开源。这一许可证允许商业使用和修改,对企业集成比较友好。OVH 作为欧洲云服务商,推出自有开源模型,也反映出云厂商在模型层寻求差异化和成本控制的趋势——稀疏模型正是降低推理成本的一条现实路径。
从更广的视角看,MoE 加混合注意力的组合正在成为小尺寸高效模型的主流配方。Olala mini 能否在众多开源小模型中站稳脚跟,还要看实际下游任务的表现和社区反馈,但仅从硬件门槛和速度指标来看,它已经具备了一定的竞争力。
关键要点
- 7B 总参数、约 1B 激活参数的 MoE 架构,每层 256 个专家
- 混合注意力:Differential-TPA + Mamba-3,BF16 格式
- 8GB 显存即可运行,RTX A4500 上 160 tokens/s,CPU 上 50 tokens/s
- 32K 上下文窗口,Apache 2.0 许可证,将在 Hugging Face 开源
相关推荐

Zed编辑器发布v1.29.2:一次常规版本迭代的观察
Zed编辑器发布v1.29.2补丁版本,由@JosephTLyons完成版本升级,提交经GitHub签名验证。本文梳理该版本的基本信息、补丁版本的含义以及对用户升级的实际建议。

Anthropic IPO遭质疑:Hacker News热议其上市时机
Hacker News出现「Just say no to Anthropic's IPO」帖子,引发对Anthropic上市时机与AI公司资本化的讨论,涉及估值泡沫与使命独立性等议题。

Genie 4世界模型上手:像木偶师一样实时导演世界
Google DeepMind 世界模型 Genie 4 深度解析:Special Guest X 实测展示如何用提示词实时导演场景、通过 Project Genie 构建自定义交互应用,以及提示词即种子的可复现设计。