待验证50% 置信事实精确时间
当秩r取4到64时,LoRA的可训练参数量通常只有原参数的千分之一量级。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
涉及实体
相关事实
待验证LoRA使可训练参数量通常仅为全参微调的0.1%-1%,可在单张RTX 3090/4090(显存24GB)上微调7B乃至13B级别的模型78% 相似待验证一个rank=4的LoRA文件对于SD1.5模型约只有3-6MB,LoRA设计使训练参数量减少95%以上76% 相似待验证LoRA训练中常用的学习率为1e-4到5e-4之间,常用的Network Rank值为8、16、32、64、12870% 相似待验证以 GPT-3 为例,r=4 时 LoRA 可将可训练参数从 175B 降至约 4.7M,减少约 37,000 倍69% 相似待验证Strife Technologies 旗下 trifero.ai 实验室训练的一个 360M 参数代码模型,在 HumanEval 上最初报告 26.8% 的 pass@1,在去除与基准测试重叠的指令数据后,真实数字为 22.6%。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1119226API
curl https://kongchang.com/api/v1/knowledge/claims/1119226MCP
get_claim(id=1119226)