待验证50% 置信事实精确时间
Shivacon-Energy 的 LoRA 微调配置为 rank 16、alpha 32，可训练参数约 880 万（占模型 1.75%），训练数据 1596 行，在 Google Colab T4 上训练 300 步、3 个 epoch、学习率 2e-4，训练损失 0.4018，验证损失 0.08377。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至：2027/1/10
来源
涉及实体
相关事实
待验证LoRA训练中常用的学习率为1e-4到5e-4之间，常用的Network Rank值为8、16、32、64、12873% 相似待验证LoRA使可训练参数量通常仅为全参微调的0.1%-1%，可在单张RTX 3090/4090（显存24GB）上微调7B乃至13B级别的模型73% 相似待验证以 GPT-3 为例，r=4 时 LoRA 可将可训练参数从 175B 降至约 4.7M，减少约 37,000 倍71% 相似待验证以 GPT-3 的注意力层为例，原始权重矩阵约为 12288×12288（约1.5亿参数），秩 r=8 的 LoRA 分解只需训练约20万参数，压缩比超过700倍69% 相似待验证作者公开的标准训练配置为Krea 2 Standard模型、Standard LoRA、Network rank 32、Alpha 32、Epochs 64（每4个epoch保存一次）、Batch size 1、目标分辨率0.25 MP、EMA 0.9868% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1012401API
curl https://kongchang.com/api/v1/knowledge/claims/1012401MCP
get_claim(id=1012401)