Qwen3-0.6B
阿里巴巴Qwen系列的超小参数量语言模型,参数量仅0.6B,专为边缘设备、端侧推理及低成本部署场景设计
核心事实
时间轴 (近 90 天)
Qwen2.5-1.5B 在 GSM8K 上得 0.729,比 Gemma 4 E2B 低 18.2 个百分点;Qwen3-0.6B 得 0.599,低 31.2 个百分点;SmolLM2-1.7B 得 0.461,低 45.0 个百分点。
候选小模型包括SmolLM2(135M和360M)、Gemma 3 270M、LFM2.5-350M、Qwen2.5-0.5B和Qwen3-0.6B,它们均有ONNX浏览器构建。
字节团队用Qwen3-0.6B架构从头训练控制实验表明:所有采用分块压缩的模型都出现周期性准确率波动,波动周期严格等于压缩步长;去掉RoPE或换成平均分配门控权重后波动依然存在;无压缩的全注意力基线完全正常。
阿里的 Qwen/Qwen3-0.6B 一周新增超过110万次下载,从约2966万跃升至3076万,是本周下载量增量最大的模型
无填充训练使 Qwen3-0.6B 的显存占用从 5.45 GB 降到 1.87 GB,每步速度提升 5 到 8 倍
全部知识事实 (6)
Qwen2.5:7B模型Q4量化后文件大小约为4GB
80%待验证Qwen2.5-1.5B 在 GSM8K 上得 0.729,比 Gemma 4 E2B 低 18.2 个百分点;Qwen3-0.6B 得 0.599,低 31.2 个百分点;SmolLM2-1.7B 得 0.461,低 45.0 个百分点。
50%待验证候选小模型包括SmolLM2(135M和360M)、Gemma 3 270M、LFM2.5-350M、Qwen2.5-0.5B和Qwen3-0.6B,它们均有ONNX浏览器构建。
50%待验证字节团队用Qwen3-0.6B架构从头训练控制实验表明:所有采用分块压缩的模型都出现周期性准确率波动,波动周期严格等于压缩步长;去掉RoPE或换成平均分配门控权重后波动依然存在;无压缩的全注意力基线完全正常。
50%待验证阿里的 Qwen/Qwen3-0.6B 一周新增超过110万次下载,从约2966万跃升至3076万,是本周下载量增量最大的模型
50%待验证无填充训练使 Qwen3-0.6B 的显存占用从 5.45 GB 降到 1.87 GB,每步速度提升 5 到 8 倍
50%