待验证50% 置信事实精确时间
实验采用超参数:batch size 16、LoRA rank 16、LoRA alpha 32、dropout 0.05、学习率0.0002、epoch数1、warm-up ratio 0.05、weight decay 0。
1
来源数
50%
置信度
长期有效
时效性
2026/11/18
首次发现
来源
小模型微调逆袭:2B/4B参数击败GPT-6 Luna
youtubeNeuralNine2026/11/18
涉及实体
相关事实
待验证测试固定条件包括:基础模型unsloth/Llama-3.2-3B-Instruct-bnb-4bit,1000个样本,2个epoch、250步,批大小2,梯度累积4,有效批大小8,可训练参数约24.3M(占总参数0.75%)。65% 相似待验证测试采用了minimax_h3_fl2va_int8_convrot模型64% 相似待验证在300段由Qwen3-32B标注的练习考卷上,微调v3的Laya相比零样本版将11个问题的判断macro-F1从0.33提升到0.57,校准误差从0.15降至0.07,危险等级MAE从2.78降至1.56。64% 相似待验证19 个模型的得分从 0.55 到 1.00 不等,Qwen 3 235B A22B Instruct 以 1.00 排名第一63% 相似待验证两档量化模型实测:IQ2_XXS短问答48、长文63 Token/s;IQ3_XXS短问答30、长文39 Token/s,显存占用约16.44G,激活10138个专家,IQ2比IQ3快约6成63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1185325API
curl https://kongchang.com/api/v1/knowledge/claims/1185325MCP
get_claim(id=1185325)