[控场AI]
模型Qwen 3.5 2B

Qwen 3.5 2B

通义千问系列的小参数开源语言模型,拥有20亿参数,适用于垂直任务微调。

时间轴 (近 90 天)

11月18日

在电商产品分类任务中,微调后的Qwen 3.5 2B模型准确率达到69.8%,超过未微调的GPT-6 Luna的68.2%。

待验证50%
11月18日

在Crusoe Intelligence Foundry平台上对Qwen 3.5 2B进行serverless LoRA微调,本次训练成本仅约45美分。

待验证50%
11月18日

实验采用超参数:batch size 16、LoRA rank 16、LoRA alpha 32、dropout 0.05、学习率0.0002、epoch数1、warm-up ratio 0.05、weight decay 0。

待验证50%

全部知识事实 (3)

来源文章