待验证50% 置信事实精确时间
以 GPT-3 为例，r=4 时 LoRA 可将可训练参数从 175B 降至约 4.7M，减少约 37,000 倍
1
来源数
50%
置信度
长期有效
时效性
2026/7/14
首次发现
来源
相关事实
待验证一个rank=4的LoRA文件对于SD1.5模型约只有3-6MB，LoRA设计使训练参数量减少95%以上76% 相似待验证LoRA使可训练参数量通常仅为全参微调的0.1%-1%，可在单张RTX 3090/4090（显存24GB）上微调7B乃至13B级别的模型72% 相似待验证LoRA训练中常用的学习率为1e-4到5e-4之间，常用的Network Rank值为8、16、32、64、12866% 相似待验证W4A4量化将权重和激活值均压缩至4位整数，理论上相比FP16可将显存占用降低至约1/463% 相似待验证响应时间只看厂商标称的1ms/0.5ms GtG意义不大，应看RTINGS等第三方实测的过冲(overshoot)数据，标称与实测常差2-3倍62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/503529API
curl https://kongchang.com/api/v1/knowledge/claims/503529MCP
get_claim(id=503529)