[控场AI]
模型Qwen3-0.6B

Qwen3-0.6B

阿里巴巴Qwen系列的超小参数量语言模型,参数量仅0.6B,专为边缘设备、端侧推理及低成本部署场景设计

核心事实

时间轴 (近 90 天)

10月13日

Qwen2.5-1.5B 在 GSM8K 上得 0.729,比 Gemma 4 E2B 低 18.2 个百分点;Qwen3-0.6B 得 0.599,低 31.2 个百分点;SmolLM2-1.7B 得 0.461,低 45.0 个百分点。

待验证50%
10月13日

候选小模型包括SmolLM2(135M和360M)、Gemma 3 270M、LFM2.5-350M、Qwen2.5-0.5B和Qwen3-0.6B,它们均有ONNX浏览器构建。

待验证50%
10月12日

字节团队用Qwen3-0.6B架构从头训练控制实验表明:所有采用分块压缩的模型都出现周期性准确率波动,波动周期严格等于压缩步长;去掉RoPE或换成平均分配门控权重后波动依然存在;无压缩的全注意力基线完全正常。

待验证50%
10月11日

阿里的 Qwen/Qwen3-0.6B 一周新增超过110万次下载,从约2966万跃升至3076万,是本周下载量增量最大的模型

待验证50%
10月6日

无填充训练使 Qwen3-0.6B 的显存占用从 5.45 GB 降到 1.87 GB,每步速度提升 5 到 8 倍

待验证50%

全部知识事实 (6)

来源文章