已验证90% 置信事实时间未知
LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%
40
来源数
90%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
Hugging Face Transformers：16万Star背后的秘密与实战指南
githubhuggingface
涉及实体
相关事实
已验证LoRA是以参数高效微调（PEFT）为代表的主流微调方法，核心思想是在不改动原始模型权重的前提下向特定层注入低秩矩阵，只训练新增参数84% 相似待验证LoRA在每个目标权重矩阵旁并联两个低秩矩阵A和B，其中A随机初始化，B初始化为零，仅训练这两个小矩阵，推理时将A×B乘积叠加回原始权重84% 相似已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能80% 相似已验证LoRA（低秩适应）的核心思想是模型权重更新矩阵本征秩很低，无需更新全部参数，只需并联两个低秩矩阵76% 相似待验证LoRA 由 Hu 等人在 2021 年提出，通过为每层注入可训练的低秩分解矩阵实现参数更新 ΔW = BA，将可训练参数量压缩至原始模型的 0.1%-1%76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/31311API
curl https://kongchang.com/api/v1/knowledge/claims/31311MCP
get_claim(id=31311)