待验证50% 置信事实精确时间
在未截断训练(T=1)下,第9代GPT-2模型在13000词预算时,词汇类型比第0代少24%,但碰撞熵高出0.91比特。
1
来源数
50%
置信度
长期有效
时效性
2026/11/9
首次发现
来源
涉及实体
相关事实
待验证在接近1000亿token的训练规模下,多项式版本与原生实现的最终平滑训练损失差异落在-0.107到+0.079之间68% 相似待验证研究团队在GPT-2等模型上的实验表明,仅经过5-9代递归训练,模型输出质量就会出现显著退化68% 相似待验证训练后的模型每token负对数似然(NLL)为0.93,而随机初始化的同结构孪生模型为12.6067% 相似待验证“预训练吞吐达到单块H100的170%”这一数字受批次大小、序列长度、模型规模、精度格式以及互联带宽共同影响,并非通用结论,换用不同模型或超参后比例可能变化。66% 相似待验证Llama 2 使用 AdamW 优化器(beta1 = 0.9,beta2 = 0.95,权重衰减 0.1,梯度裁剪 1.0),并在 2 万亿 token 上预训练。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1149949API
curl https://kongchang.com/api/v1/knowledge/claims/1149949MCP
get_claim(id=1149949)