待验证50% 置信事实精确时间
Chinchilla 缩放定律结论：在固定算力预算下，模型参数量与训练 token 数应大致按 1:20 比例同步扩展，早期模型普遍数据饥饿。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
待验证2022年DeepMind发布的Chinchilla论文修正了原始Scaling Laws，指出应在给定计算预算下同比例扩展参数量和训练数据量71% 相似待验证如果模型预训练语料中极少出现超过 32K token 的样本，即便通过位置编码扩展窗口，模型在该区间的表现也往往不稳定68% 相似待验证在固定learning_rate下，batch_size随环境数线性放大、num_epoch保持不变时，策略在单次迭代中被推向新分布的总位移可能增大，表现为训练早期奖励剧烈震荡甚至坍塌。68% 相似待验证两次运行之间团队调整了生成预算（第一次偶尔在回答前触达token上限），因此波动中有一部分可能来自运行框架而非模型判断本身。68% 相似待验证插值阈值在数学上对应模型参数数量等于训练样本数量的临界点，此时线性方程组恰好有唯一解67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1051002API
curl https://kongchang.com/api/v1/knowledge/claims/1051002MCP
get_claim(id=1051002)