待验证50% 置信事实精确时间

以 GPT-3 的注意力层为例，原始权重矩阵约为 12288×12288（约1.5亿参数），秩 r=8 的 LoRA 分解只需训练约20万参数，压缩比超过700倍

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

LoRA 智能体安全治理：从高效微调到行为依赖

涉及实体

GPT-3model LoRAconcept

相关事实

待验证以 GPT-3 为例，r=4 时 LoRA 可将可训练参数从 175B 降至约 4.7M，减少约 37,000 倍80% 相似待验证以GPT-3的1750亿参数为例，大约2/3的参数分布在FFN层中，1/3在注意力层中73% 相似待验证LoRA使可训练参数量通常仅为全参微调的0.1%-1%，可在单张RTX 3090/4090（显存24GB）上微调7B乃至13B级别的模型70% 相似待验证GPT-3参数规模达到千亿量级（1750亿参数），并展现出少样本和零样本能力67% 相似待验证该迷你GPT模型最终参数量为13,693,824个，落在10-30百万目标区间内66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/998068

API

curl https://kongchang.com/api/v1/knowledge/claims/998068

MCP

get_claim(id=998068)