Verified90% confidenceFactTime unknown
LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%
40
Sources
90%
Confidence
Long-term
Relevance
6/1/2026
First Seen
Sources
Hugging Face Transformers：16万Star背后的秘密与实战指南
githubhuggingface
Related Entities
Related Claims
VerifiedLoRA是以参数高效微调（PEFT）为代表的主流微调方法，核心思想是在不改动原始模型权重的前提下向特定层注入低秩矩阵，只训练新增参数84% similarUnverifiedLoRA在每个目标权重矩阵旁并联两个低秩矩阵A和B，其中A随机初始化，B初始化为零，仅训练这两个小矩阵，推理时将A×B乘积叠加回原始权重84% similarVerifiedLoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能80% similarVerifiedLoRA（低秩适应）的核心思想是模型权重更新矩阵本征秩很低，无需更新全部参数，只需并联两个低秩矩阵76% similarUnverifiedLoRA 由 Hu 等人在 2021 年提出，通过为每层注入可训练的低秩分解矩阵实现参数更新 ΔW = BA，将可训练参数量压缩至原始模型的 0.1%-1%76% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/31311API
curl https://kongchang.com/api/v1/knowledge/claims/31311MCP
get_claim(id=31311)