待验证50% 置信事实精确时间
对于冻结的基座矩阵 W0，LoRA 将学习到的更新表示为 W' = W0 + (alpha/r)BA，其中 A 和 B 是可训练的紧凑矩阵，秩 r 远小于原矩阵维度
1
来源数
50%
置信度
长期有效
时效性
2026/10/11
首次发现
来源
涉及实体
相关事实
待验证LoRA训练时预训练模型权重W₀被冻结，只训练B和A两个矩阵，前向传播公式为H = W₀X + (α/r)BAX76% 相似已验证LoRA在每个目标权重矩阵旁并联两个低秩矩阵A和B，其中A随机初始化，B初始化为零，仅训练这两个小矩阵，推理时将A×B乘积叠加回原始权重75% 相似已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%67% 相似待验证低秩参数化将完整协方差矩阵分解为Σ = WW^T + D的形式，使参数量从O(d²)降至O(dr)63% 相似待验证混淆矩阵是一个N×N方阵，第i行第j列元素表示真实类别为i但被预测为j的样本数量62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/998065API
curl https://kongchang.com/api/v1/knowledge/claims/998065MCP
get_claim(id=998065)