待验证50% 置信事实精确时间
LoRA 冻结原始模型权重，仅在每一层的注意力矩阵旁插入一对低秩矩阵，秩通常设为 4～64
1
来源数
50%
置信度
长期有效
时效性
2026/10/4
首次发现
来源
涉及实体
相关事实
已验证LoRA将对权重矩阵的全量更新分解为两个低秩矩阵的乘积，训练时只更新这两个小矩阵，原始权重保持冻结78% 相似已验证LoRA将权重更新矩阵ΔW分解为两个秩远低于原矩阵的小矩阵A和B之积，参数量可缩减至原来的万分之一甚至更少74% 相似已验证LoRA微调时冻结原始模型参数不动，只更新插入的低秩矩阵，显存需求和训练成本大幅降低70% 相似待验证LoRA 利用 SVD 的低秩近似原理，将大型权重矩阵的增量更新分解为两个低秩矩阵的乘积，从而将可训练参数量从数十亿压缩至数百万量级63% 相似待验证自回归推理时batch size通常为1，每个token生成只做一次矩阵-向量乘法，算术强度极低，导致memory-bound问题，单用户场景下GPU利用率往往不到10%62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/971598API
curl https://kongchang.com/api/v1/knowledge/claims/971598MCP
get_claim(id=971598)