模型Qwen 3.5 2B
Qwen 3.5 2B
通义千问系列的小参数开源语言模型,拥有20亿参数,适用于垂直任务微调。
时间轴 (近 90 天)
11月18日
在电商产品分类任务中,微调后的Qwen 3.5 2B模型准确率达到69.8%,超过未微调的GPT-6 Luna的68.2%。
待验证50%
11月18日
在Crusoe Intelligence Foundry平台上对Qwen 3.5 2B进行serverless LoRA微调,本次训练成本仅约45美分。
待验证50%
11月18日
实验采用超参数:batch size 16、LoRA rank 16、LoRA alpha 32、dropout 0.05、学习率0.0002、epoch数1、warm-up ratio 0.05、weight decay 0。
待验证50%