已验证65% 置信事实时间未知
LoRA微调时冻结原始模型参数不动，只更新插入的低秩矩阵，显存需求和训练成本大幅降低
3
来源数
65%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
涉及实体
相关事实
已验证PEFT技术的核心思想是不更新全部参数，而是引入少量可训练的适配器参数（如LoRA的低秩矩阵分解），降低显存和计算需求同时保留接近全量微调的效果81% 相似已验证LoRA将对权重矩阵的全量更新分解为两个低秩矩阵的乘积，训练时只更新这两个小矩阵，原始权重保持冻结78% 相似待验证Hu 等人在 ICLR 2022 的原始论文中提出，冻结基座模型权重并用两个低秩矩阵表示每个待更新矩阵，能大幅削减可训练参数，同时在评测任务上达到接近全量微调的质量76% 相似待验证若数据集较小而模型参数过多，模型可能过早记住训练数据并退化，可通过增加数据、使用 dropout 正则化或缩小模型规模缓解75% 相似待验证LoRA的低秩假设构成容量上限，当新模态所需特征变换不能被低秩矩阵有效捕捉时会限制模型表达力73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/35409API
curl https://kongchang.com/api/v1/knowledge/claims/35409MCP
get_claim(id=35409)