Unverified85% confidenceFactTime unknown
LoRA训练中常用的学习率为1e-4到5e-4之间，常用的Network Rank值为8、16、32、64、128
1
Sources
85%
Confidence
Long-term
Relevance
6/1/2026
First Seen
Sources
ComfyUI训练LoRA教程：TrainTools-MZ插件让炼丹变成连连看
githubMinusZoneAI
Related Entities
Related Claims
UnverifiedLoRA使可训练参数量通常仅为全参微调的0.1%-1%，可在单张RTX 3090/4090（显存24GB）上微调7B乃至13B级别的模型77% similarUnverified一个rank=4的LoRA文件对于SD1.5模型约只有3-6MB，LoRA设计使训练参数量减少95%以上67% similarUnverified以 GPT-3 为例，r=4 时 LoRA 可将可训练参数从 175B 降至约 4.7M，减少约 37,000 倍66% similarUnverified训练7B参数模型的全参数微调通常需要至少4张A100（80G）显卡，而LoRA使单张RTX 4090（24G）完成7B量级模型微调成为可能63% similarUnverifiedLoRA用两个低秩矩阵A(d×r)和B(r×k)的乘积近似权重变化量ΔW，其中A使用随机高斯初始化，B初始化为零，秩r通常取4~1660% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/35436API
curl https://kongchang.com/api/v1/knowledge/claims/35436MCP
get_claim(id=35436)