待验证50% 置信事实精确时间

以D=4096、r=8为例，LoRA参数量仅为原来的0.39%，计算量节省250倍

1

来源数

50%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

LoRA详解：大模型高效微调技术原理与实现

涉及实体

相关事实

待验证LoRA将微调权重变化量ΔW分解为两个低秩矩阵的乘积，参数量仅为原模型的0.1%~1%，当r=8、d=4096时参数压缩比高达256倍71% 相似待验证DistilBERT将参数量压缩至6600万（原版1.1亿），推理速度提升60%，精度损失不足3%65% 相似已验证对于一个 70 亿参数的模型，LoRA 通常只需训练不到 1% 的参数量，显存需求可降低 60% 以上64% 相似待验证PER中重要性采样权重的β参数从较小值（如0.4）线性退火到163% 相似待验证接受长度为6意味着大模型高成本计算次数降至约六分之一，但实际端到端吞吐提升通常在2至4倍区间63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/888468

API

curl https://kongchang.com/api/v1/knowledge/claims/888468

MCP

get_claim(id=888468)