待验证50% 置信事实精确时间
GPT-3 训练使用了 Adam 优化器（beta1 = 0.9，beta2 = 0.95）、梯度裁剪至 1.0、学习率预热 3.75 亿 token 后余弦衰减至峰值的 10% 历经 2600 亿 token，以及权重衰减 0.1。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
待验证以 GPT-3 的注意力层为例，原始权重矩阵约为 12288×12288（约1.5亿参数），秩 r=8 的 LoRA 分解只需训练约20万参数，压缩比超过700倍68% 相似待验证DINOv3 ViT-H+/16 剪枝到 50% 稀疏度时，移除 4.27 亿参数，ImageNet-1k 线性探测准确率仅下降 0.8%，无需权重校正或重训练。67% 相似待验证VKORE 公开演示的里程碑包含：4600 万参数模型从零训练、运行在 32 块仅推理专用 NPU 芯片上、与 GPU 训练基线的损失相关性为 0.99。66% 相似待验证作者的微调采用 QLoRA 方法，LoRA rank/alpha 为 32/64，学习率 1e-4，批大小 1 梯度累积 16，优化器 AdamW 8-bit，训练 1 epoch66% 相似待验证一旦GOOSE进入训练集，所有增广分支在真实天气上的表现都落在对照组±1点以内，而增广在合成留出退化上仍能加3.5到5.2点66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1049786API
curl https://kongchang.com/api/v1/knowledge/claims/1049786MCP
get_claim(id=1049786)