Unverified50% confidenceBenchmarkExact time
对LLaMA-7B所有注意力层应用r=8的LoRA，可训练参数量从70亿降至约400万，压缩比超过1750倍
1
Sources
50%
Confidence
Long-term
Relevance
7/25/2026
First Seen
Sources
Related Claims
Verified对于一个 70 亿参数的模型，LoRA 通常只需训练不到 1% 的参数量，显存需求可降低 60% 以上74% similarPartially Verified对于一个4096×4096的权重矩阵，LoRA可能只需要训练两个4096×8的矩阵，将可训练参数量从约1600万降低到约6.5万，减少了99.6%71% similarVerifiedLoRA中低秩矩阵的秩r通常设为8或16，可训练参数量从d×k降至r×(d+k)，降幅可达数百倍69% similarUnverified百度发布文心大模型5.1，其预训练成本降至业界同规模模型的约6%67% similarUnverifiedLoRA将可训练参数量从d²降低到2dr，其中r通常为4-6466% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/613142API
curl https://kongchang.com/api/v1/knowledge/claims/613142MCP
get_claim(id=613142)