Qwen3.8 Flash Next
阿里巴巴Qwen3系列中的一个轻量化模型变体,面向高效推理场景设计,支持社区量化和本地部署
核心事实
时间轴 (近 90 天)
在 AMD 9700 + 32GB 显存 + 64GB 内存的机器上实测,该模型可运行 56K 上下文。
该方案部署的量化 Coder 模型在文本生成质量上表现有限,适合低成本体验或作为 Agent 的免费 token 来源。
据Hugging Face实测数据,IQ3_S档平均93.26分,接近全精度基座的93.12分
Qwen3.8 Flash Next 总参数 125B,每个 token 只激活约 6B,原生上下文 26 万 token 可扩展到 100 万,训练成本据称仅为上一代的九分之一
Strata能让一张12G显存的显卡流畅运行1250亿激活参数、整体176B体量的Qwen3.8 Flash Next大模型
千问官方将Qwen3.8 Flash Next放进订阅计划对外售卖API,而27B版本尚未单独出售
两档量化模型实测:IQ2_XXS短问答48、长文63 Token/s;IQ3_XXS短问答30、长文39 Token/s,显存占用约16.44G,激活10138个专家,IQ2比IQ3快约6成
将上下文从192000拉到256000时专家缓存从16.44G降到13.66G、KV从4.31G升到7G,速度几乎零代价,因KV全显存加专家缓存自动平衡
在一张RX 7900 XTX 24G显卡上基于Strata引擎可以完整运行约125B参数的Qwen3.8 Flash Next MoE模型,并支持文本推理和图像识别
Strata是一个开源推理运行时,能在RTX 5070(12GB显存)上运行1250亿参数的Qwen3.8 Flash Next模型,输出速度约为每秒90个Token
还有 23 条时间轴事件
全部知识事实 (20)
Qwen3 Next Flash的1250亿总参数与60亿激活参数之间约20:1的比例是相当激进的稀疏度设计
70%已验证在RTX 5070(12GB显存)配置下,本地Qwen3 9B模型的输出速度达到约70-76 token/秒
70%已验证Qwen3.8 Flash Next的基准成绩为Qwen官方数据,尚待第三方独立验证
65%待验证Qwen3.8 Flash Next 配备独立的Ngram嵌入系统,额外增加约510亿参数,这些参数不参与常规前向传播,仅在特定模式匹配时被激活
60%待验证Qwen3.8 Flash Next支持函数调用和约束生成两种结构化输出模式
60%待验证该方案部署的量化 Coder 模型在文本生成质量上表现有限,适合低成本体验或作为 Agent 的免费 token 来源。
50%待验证在 AMD 9700 + 32GB 显存 + 64GB 内存的机器上实测,该模型可运行 56K 上下文。
50%待验证据Hugging Face实测数据,IQ3_S档平均93.26分,接近全精度基座的93.12分
50%待验证Qwen3.8 Flash Next 总参数 125B,每个 token 只激活约 6B,原生上下文 26 万 token 可扩展到 100 万,训练成本据称仅为上一代的九分之一
50%待验证Strata能让一张12G显存的显卡流畅运行1250亿激活参数、整体176B体量的Qwen3.8 Flash Next大模型
50%待验证将上下文从192000拉到256000时专家缓存从16.44G降到13.66G、KV从4.31G升到7G,速度几乎零代价,因KV全显存加专家缓存自动平衡
50%待验证在一张RX 7900 XTX 24G显卡上基于Strata引擎可以完整运行约125B参数的Qwen3.8 Flash Next MoE模型,并支持文本推理和图像识别
50%待验证两档量化模型实测:IQ2_XXS短问答48、长文63 Token/s;IQ3_XXS短问答30、长文39 Token/s,显存占用约16.44G,激活10138个专家,IQ2比IQ3快约6成
50%待验证Qwen3.8 Flash Next模型共48层,由「3个门控DeltaNet层+1个稀疏注入」重复12次构成,实际包含约24.5万个专家实例,仅在12层保留传统注意力缓存
50%待验证Strata是一个开源推理运行时,能在RTX 5070(12GB显存)上运行1250亿参数的Qwen3.8 Flash Next模型,输出速度约为每秒90个Token
50%待验证Qwen3.8 Flash Next每一层由路由从512个专家中选出10个激活,外加一个始终运行的共享专家
50%待验证从 Qwen3.8 到 Qwen4 的命名跳跃可能暗示着比小版本更新更大的架构变化
50%待验证阿里巴巴八月底发布的一款Qwen Flash模型也将510亿n-gram参数放进系统内存运行
50%待验证Qwen3.8 Flash Next 原生上下文窗口为26.2万token,借助YaRN技术可扩展至100万token
50%待验证Qwen3.8 Flash Next 拥有1250亿总参数,每个token推理时仅激活约60亿参数
50%