待验证50% 置信事实精确时间
LoRA(Low-Rank Adaptation)通过低秩分解将权重更新矩阵ΔW约束为BA,其中B∈ℝ^{d×r}、A∈ℝ^{r×k},且秩r≪min(d,k),从而将可训练参数量从d×k降到r×(d+k)。
1
来源数
50%
置信度
长期有效
时效性
2026/10/24
首次发现
来源
涉及实体
相关事实
已验证LoRA在每个目标权重矩阵旁并联两个低秩矩阵A和B,其中A随机初始化,B初始化为零,仅训练这两个小矩阵,推理时将A×B乘积叠加回原始权重75% 相似待验证LoRA 由 Hu 等人在 2021 年提出,通过为每层注入可训练的低秩分解矩阵实现参数更新 ΔW = BA,将可训练参数量压缩至原始模型的 0.1%-1%74% 相似已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调,通常只需训练原始参数量的0.1%-1%74% 相似已验证LoRA的原理是将微调中权重变化量ΔW分解为两个低秩矩阵的乘积(ΔW = A×B)74% 相似待验证LoRA缩放因子α/r中除以r起到归一化作用,使得在调整r时不需要同步调整学习率73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1093829API
curl https://kongchang.com/api/v1/knowledge/claims/1093829MCP
get_claim(id=1093829)