Qwen3-30B-A3B
阿里巴巴推出的MoE架构大语言模型,总参数量30B但每次推理仅激活约3B参数(Activated 3B),兼顾推理速度与模型能力
核心事实
时间轴 (近 90 天)
在 16GB Tesla T4 上运行 Qwen3-30B-A3B(18.6GB),使用 MoE 缓存后解码速度从默认的 22.6 tokens/s 提升到 43.2 tokens/s。
对 Qwen3-30B-A3B Q4_K_M,设置 --moe-cache-mib 10000 MiB 时,两个 24 层组各获得 1834 个槽位,占专家总数的 59.7%。
对比Qwen3-30B-A3B,Hy-Memory-30B-A3B平均提升11分;在训练中从未见过的EverMemOS框架上仍有56.89分。
使用 QLoRA 在 A100 和 RTX PRO 6000 上,Qwen3.5-35B-A3B 的训练速度最高可提升 4.1 倍,Qwen3-30B-A3B 最高提升 3.3 倍
离策略蒸馏实验使用Qwen3 0.6B作为学生模型,Qwen3 4B作为教师模型
全部知识事实 (6)
离策略蒸馏实验使用Qwen3 0.6B作为学生模型,Qwen3 4B作为教师模型
75%已验证Qwen3.6 35B-A3B是混合专家架构(MoE),总参数量35B,每次推理实际激活参数量约3B
70%待验证在 16GB Tesla T4 上运行 Qwen3-30B-A3B(18.6GB),使用 MoE 缓存后解码速度从默认的 22.6 tokens/s 提升到 43.2 tokens/s。
50%待验证对 Qwen3-30B-A3B Q4_K_M,设置 --moe-cache-mib 10000 MiB 时,两个 24 层组各获得 1834 个槽位,占专家总数的 59.7%。
50%待验证对比Qwen3-30B-A3B,Hy-Memory-30B-A3B平均提升11分;在训练中从未见过的EverMemOS框架上仍有56.89分。
50%待验证使用 QLoRA 在 A100 和 RTX PRO 6000 上,Qwen3.5-35B-A3B 的训练速度最高可提升 4.1 倍,Qwen3-30B-A3B 最高提升 3.3 倍
50%