待验证50% 置信事实精确时间
训练超参数：每次更新跑一个PPO epoch，Adam学习率3e-4，折扣因子γ=0.9997（约7分钟视野，与OpenAI Five一致），胜利奖励±10。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证GPT-3 训练使用了 Adam 优化器（beta1 = 0.9，beta2 = 0.95）、梯度裁剪至 1.0、学习率预热 3.75 亿 token 后余弦衰减至峰值的 10% 历经 2600 亿 token，以及权重衰减 0.1。78% 相似待验证一旦GOOSE进入训练集，所有增广分支在真实天气上的表现都落在对照组±1点以内，而增广在合成留出退化上仍能加3.5到5.2点66% 相似待验证作者的微调采用 QLoRA 方法，LoRA rank/alpha 为 32/64，学习率 1e-4，批大小 1 梯度累积 16，优化器 AdamW 8-bit，训练 1 epoch66% 相似待验证在七留出查询的评估中，训练后的IRM在top-1结果上达到4/7正确，恒等变换基线为3/7。65% 相似待验证在混合精度Adam训练中，单个参数的完整训练状态高达18字节（FP16权重2字节、FP32主权重4字节、一阶矩4字节、二阶矩4字节，加梯度）64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1125551API
curl https://kongchang.com/api/v1/knowledge/claims/1125551MCP
get_claim(id=1125551)