待验证50% 置信事实精确时间
以GPT-3为例,当d=12,288、r=8时,每个低秩分解矩阵约有19.7万个可训练参数,而完整更新矩阵约1.51亿个参数,两者相差近三个数量级。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证以1000×1000权重矩阵为例,若LoRA的秩设为8,只需训练约1.6万个参数而非100万个原始参数77% 相似待验证LoRA在GPT-3 175B上报告:与使用Adam的完整微调相比,可训练参数减少约10,000倍,训练时GPU显存减少约3倍。71% 相似待验证在12个模型×任务组合中,只有 gpt-5.4-mini 在逻辑推理任务上出现统计显著的准确率提升:从15%跃升至97.5%,霍姆校正后 p=0.00056。70% 相似待验证从GPT-2到GPT-3参数量增加了约100倍,但在许多基准测试上的提升幅度远不及100倍70% 相似待验证研究者训练的2900万参数编码器对985条陈述的流行度加权跨折AUC仅为0.486,与语料库先验无法区分69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1047744API
curl https://kongchang.com/api/v1/knowledge/claims/1047744MCP
get_claim(id=1047744)