Unverified50% confidenceFactExact time
LoRA推理时可以预先计算W' = W₀ + (α/r)BA，将LoRA分支融合到原权重中，实现零额外推理延迟
1
Sources
50%
Confidence
Long-term
Relevance
9/10/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedLoRA推理时可将BA与原权重合并，不增加任何推理延迟，通常只应用于注意力层的Q、V权重矩阵73% similarUnverifiedLoRA 由 Hu 等人在 2021 年提出，通过为每层注入可训练的低秩分解矩阵实现参数更新 ΔW = BA，将可训练参数量压缩至原始模型的 0.1%-1%68% similarUnverifiedLoRA在每个目标权重矩阵旁并联两个低秩矩阵A和B，其中A随机初始化，B初始化为零，仅训练这两个小矩阵，推理时将A×B乘积叠加回原始权重67% similarUnverifiedLoRA训练时预训练模型权重W₀被冻结，只训练B和A两个矩阵，前向传播公式为H = W₀X + (α/r)BAX67% similarVerifiedLoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/888470API
curl https://kongchang.com/api/v1/knowledge/claims/888470MCP
get_claim(id=888470)