待验证50% 置信事实精确时间
2022年DeepMind发表了Chinchilla论文《Training Compute-Optimal Large Language Models》，由Jordan Hoffmann等人撰写，指出在给定计算预算下参数量与训练数据量需保持合理配比
1
来源数
50%
置信度
长期有效
时效性
2026/8/28
首次发现
来源
涉及实体
相关事实
待验证DeepMind的Chinchilla定律证明训练数据量与模型参数量的最优配比会随时间演进而改变，同等FLOP投入可产生能力差异显著的模型74% 相似待验证在代码语料比例更高的混合数据集上训练的模型，在数学推理基准（如MATH、GSM8K）上的表现显著优于纯自然语言训练的同规模模型，这一结论获斯坦福大学和MIT的多项研究证实71% 相似待验证Kaplan等人2020年的Scaling Law论文揭示，在固定算力预算下，模型参数量与训练token数存在最优比例关系（Chinchilla最优）70% 相似待验证论文在一个10亿参数模型上用2000亿token的Numeratron数学与Dolma混合语料做训练，展示了中训练损失与RL性能之间的关系69% 相似待验证大语言模型的推理过程与训练过程同样消耗大量计算资源67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/810528API
curl https://kongchang.com/api/v1/knowledge/claims/810528MCP
get_claim(id=810528)