Qwen3-Next-80B
阿里巴巴通义千问系列的MoE架构大语言模型,参数规模80B,文件约48.4GB,包含多个专家前馈网络,每token仅激活少数专家
核心事实
时间轴 (近 90 天)
Qwen3-Next-80B 是 MoE 架构,总参数约 80B,但每次前向推理只激活约 3B 参数。
Janas 在 32GB 内存笔记本上运行 48.4GB 的 Qwen3-Next-80B,达到 37 tok/s;同一机器同一模型上 llama.cpp 只有 2.8 tok/s。
Janas 支持投机解码:小型草稿模型猜出接下来几个 token,大模型一次验证。在 Qwen3-Next-80B 上,这让写入速度从 24 提升到 37 tok/s,且文本内容完全一致。
在测试机上,Qwen3-Next-80B 读取 1024 token 的 prompt 速度为 62 tok/s,不开启草稿时写入 24 tok/s;同为 48.4GB 的 Qwen3-Coder-Next 为读取 66、写入 22。
全部知识事实 (5)
Qwen2.5:7B模型Q4量化后文件大小约为4GB
80%待验证Qwen3-Next-80B 是 MoE 架构,总参数约 80B,但每次前向推理只激活约 3B 参数。
50%待验证Janas 在 32GB 内存笔记本上运行 48.4GB 的 Qwen3-Next-80B,达到 37 tok/s;同一机器同一模型上 llama.cpp 只有 2.8 tok/s。
50%待验证Janas 支持投机解码:小型草稿模型猜出接下来几个 token,大模型一次验证。在 Qwen3-Next-80B 上,这让写入速度从 24 提升到 37 tok/s,且文本内容完全一致。
50%待验证在测试机上,Qwen3-Next-80B 读取 1024 token 的 prompt 速度为 62 tok/s,不开启草稿时写入 24 tok/s;同为 48.4GB 的 Qwen3-Coder-Next 为读取 66、写入 22。
50%