待验证50% 置信事实精确时间
实践中LoRA常选择4到64之间的秩,并配合缩放因子alpha控制更新幅度。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
涉及实体
相关事实
待验证当秩r取4到64时,LoRA的可训练参数量通常只有原参数的千分之一量级。66% 相似待验证作者的微调采用 QLoRA 方法,LoRA rank/alpha 为 32/64,学习率 1e-4,批大小 1 梯度累积 16,优化器 AdamW 8-bit,训练 1 epoch62% 相似待验证INT4量化将原本由65536个不同值(FP16)表示的权重压缩到仅16个离散级别61% 相似待验证在Artificial Analysis的AA-Omniscience基准测试(对错误答案扣分)中,最高分从发布时的4.8提升到了目前的46。60% 相似待验证LIAR基准上最先进的监督模型六分类准确率仍徘徊在28%-32%60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1131604API
curl https://kongchang.com/api/v1/knowledge/claims/1131604MCP
get_claim(id=1131604)