Maxwell-V1-Flash:35B总参3B激活的MoE长上下文模型

Maxwell-V1-Flash 是 35B 总参、3B 激活的 MoE 模型,用块稀疏注意力支撑 256K 上下文。
Maxwell Team 开源了 Maxwell-V1.0-Flash,一款总参数 35B、每 token 仅激活 3B 的混合专家语言模型,支持 256K 上下文。其核心是 Maxwell Block Sparse Attention:每个 KV group 保留 8 个前缀块、8 个 128 token 局部块,再由学习式 indexer 挑选最多 16 个远端块,把主注意力限制在 4,096 token 以内,官方称 256K 下 kernel 比稠密 GQA 快 6.7 倍。模型还引入 Manifold-Constrained Hyper-Connections 与细粒度 MoE 骨干。训练上先用约 26T token 稠密预训练,在 128K 中训练阶段才引入块稀疏注意力并与骨干联合训练;后训练为两阶段 SFT 加多条独立 RL 分支,再经多教师 on-policy 蒸馏合并。分词器针对多种低资源东南亚语言优化。目前证据以自述为主,尚缺第三方评测。
Reddit 社区最近出现了一个值得关注的开源模型发布:Maxwell Team 推出的 Maxwell-V1.0-Flash。它是一款以稀疏架构为核心设计的高性能混合专家(MoE)语言模型,总参数量 35B,每个 token 仅激活 3B 参数(均不含 embedding),支持最长 256K 的上下文长度,定位是在可接受的推理成本下提供强推理、Agent 与长文本能力。

稀疏注意力是这代模型的核心卖点
Maxwell-V1-Flash 最特别的设计是 Maxwell Block Sparse Attention(MBSA)。每个 KV group 固定保留 8 个前缀块和 8 个 128 token 的局部块,再额外挂上最多 16 个由学习式 indexer 挑选的远端块。这样主注意力的计算量被限制在每个 KV group 4,096 token 以内,同时完整历史 KV cache 仍然可用。官方给出的数据是:在 256K 上下文下,MBSA kernel 比稠密 GQA 快 6.7 倍。
这个思路解决的是长上下文推理中最现实的成本问题——不是模型能不能"记住",而是记住之后每一步的计算代价。通过把注意力从全量历史收窄到"前缀 + 局部 + 远端精选"的组合,模型在保留长程信息通道的同时,把主注意力开销压到了固定量级。
其他两项架构改动的意义
模型还引入了 Manifold-Constrained Hyper-Connections:多条残差流配合学习到的、输入相关的聚合与受约束混合,在不增加额外 attention 或前馈计算的前提下拓宽信息流动路径。另一项是细粒度 MoE 骨干,把细粒度路由专家与常驻共享专家配对,配合动态路由修正偏置和轻量的序列级负载均衡损失,目的是让专家利用更均衡、路由更稳定。
MoE(混合专家)与“激活参数”:MoE 把前馈层拆成多个“专家”子网络,每个 token 由路由器只选择其中少数几个参与计算。因此模型的总参数量(把所有专家都算上)可以很大,但单个 token 实际参与运算的参数量(激活参数)要小得多。这正是 Maxwell-V1-Flash“35B 总参数、3B 激活”的含义:显存占用按总参数计,而每步推理的算力开销接近一个 3B 稠密模型,从而在成本与能力之间取得折中。
KV cache 与 KV group:自回归生成时,模型会缓存历史 token 的 Key/Value 向量,避免每步重算,这就是 KV cache;上下文越长,它占用的显存与注意力计算量越大。GQA(分组查询注意力)让多个查询头共享一组 KV 头,以压缩 cache 体积。文中“每个 KV group”指的是共享同一组 KV 的那批查询头,MBSA 正是以 KV group 为单位限定参与注意力的 token 块数量。
残差连接与 Hyper-Connections:残差连接是 Transformer 中把某层输入直接加到输出上的捷径,用于缓解深层网络的梯度消失。传统做法只有一条残差流;Hyper-Connections 将其扩展为多条并行的残差流,并让各流之间的混合权重随输入动态生成。这样信息可以在不同“通道”间分流与重组,相当于在不增加注意力或前馈计算的前提下加深了信息通路,代价是额外的少量聚合运算。
Muon 优化器:Muon 是近年提出的一种优化器,对隐藏层二维权重矩阵的更新量做近似正交化处理(常基于 Newton-Schulz 迭代),使更新在奇异值分布上更均衡,实践中常在大规模预训练上表现出较好的收敛效率。它通常只用于隐藏权重矩阵,embedding、输出层等仍沿用 AdamW 一类优化器。
训练流程:从稠密起步,中训练切换稀疏
根据模型卡描述,预训练使用了约 26T token 的多语数据,大部分隐藏权重矩阵采用 Muon 优化器。训练策略上先跑稠密阶段,在 128K 中训练阶段才引入块稀疏注意力——前提是 indexer 已经针对稠密全历史注意力完成预热,之后再与骨干联合训练。这种"先稠密后稀疏"的课程式安排,本质上是为了让学习式 indexer 在切换前就具备可靠的远块选择能力。
分词器方面,模型采用脚本感知的多语分词器,在语言间保持紧凑,特别针对泰语、老挝语、缅甸语、高棉语和掸语等低资源东南亚语言做了优化。长上下文训练则按阶段从 4K 逐步扩展到 256K。
后训练采用多分支 RL 加蒸馏
后训练分两步:先做两阶段全领域 SFT,建立通用、推理与 Agent 能力,再针对更难的推理问题和 Agent 轨迹做强化;随后并行训练多条独立的 RL 分支,分别覆盖通用任务、可验证推理(数学、科学、逻辑、代码)和 Agent 任务(搜索、终端操作、函数调用、软件工程),最后通过多教师 on-policy 蒸馏,以监督学生模型自生成回答的方式合并成单一模型。
on-policy 蒸馏:常规蒸馏让学生模型去拟合教师模型给出的固定答案分布(off-policy);on-policy 蒸馏则让学生先自行生成回答,再由教师对这些“学生自己走过的轨迹”给出监督信号或打分。这样训练分布与学生推理时的真实分布一致,能缓解曝光偏差,也更适合把多个能力不同的教师模型合并进同一个学生模型——文中多条 RL 分支正是以这种方式被整合为单一模型。
值得关注的地方与尚待验证的问题
从模型卡披露的信息看,Maxwell-V1-Flash 的设计重心非常明确:用稀疏注意力换长上下文的经济性,用细粒度 MoE 换推理时的参数效率。3B 激活参数配 256K 上下文,对需要处理长文档或长 Agent 轨迹的团队来说是一个有吸引力的组合。
说一下,目前公开信息以自述为主,Reddit 上的讨论也基本围绕模型卡展开,尚无独立的第三方评测佐证其 6.7 倍 kernel 加速与推理表现。对这类新模型,实际部署中的 kernel 兼容性、长上下文真实召回质量,以及低资源语言上的表现,都需要在上手后自行验证。项目已在 GitHub 与官网开放,感兴趣的开发者可以直接拉取权重测试。
相关推荐

OpenAI 11月30日关停Agent Builder等三项服务,开发者需紧急迁移
OpenAI 将于 11 月 30 日关停 Agent Builder、evals 仪表盘和可复用提示三项开发者功能,evals 已转为只读。本文梳理受影响范围、OpenAI 官方给出的迁移路径(Agent SDK、PromptFu、自有代码)以及开发者本周应完成的导出与重建动作。

RankSpot:按次付费的SEO与AI搜索执行层,让Agent替你写文、发布、换外链
RankSpot 是面向 AI Agent 的 SEO 与 AI 搜索执行层,通过 MCP 接入 Claude 或 ChatGPT,让 Agent 完成写文、发布和外链获取。按次付费,每篇文章 3 美元,读数据免费,支持 100 多种语言。

Appxiom:给AI编程助手装上生产环境上下文
Appxiom为AI编程Agent提供生产环境上下文,覆盖崩溃、卡顿、内存泄漏与失败的网络调用,支持Android、iOS、Flutter、KMP和Web,并通过Goal Friction Impact按业务目标排序Bug。