待验证50% 置信事实精确时间

LoRA训练时预训练模型权重W₀被冻结，只训练B和A两个矩阵，前向传播公式为H = W₀X + (α/r)BAX

1

来源数

50%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

LoRA详解：大模型高效微调技术原理与实现

涉及实体

相关事实

已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%74% 相似待验证LoRA 由 Hu 等人在 2021 年提出，通过为每层注入可训练的低秩分解矩阵实现参数更新 ΔW = BA，将可训练参数量压缩至原始模型的 0.1%-1%74% 相似待验证LoRA在每个目标权重矩阵旁并联两个低秩矩阵A和B，其中A随机初始化，B初始化为零，仅训练这两个小矩阵，推理时将A×B乘积叠加回原始权重74% 相似待验证模型参数W在训练开始时是随机初始化的70% 相似待验证当前的LLM一旦完成训练其参数即被冻结，只能通过微调或RAG等外部机制来更新67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/888469

API

curl https://kongchang.com/api/v1/knowledge/claims/888469

MCP

get_claim(id=888469)