Scaling Laws
由OpenAI研究人员于2020年系统量化的规律，揭示了模型性能与参数量、数据量、算力之间的幂律关系，后经Chinchilla论文（2022）修正，是大模型训练资源分配的重要理论依据。
核心事实
时间轴 (近 90 天)
Scaling Laws描述的是预训练损失的下降，而非所有下游能力的线性提升，部分能力如复杂推理呈现涌现特性
近期业界观察到扩大规模带来的基准测试提升幅度明显缩小，且高质量训练文本数据接近网络可获取上限
顶尖实验室也难以事先精确预测某个规模的模型的表现，往往需要通过大量缩放定律实验来逼近答案
数据质量、训练技巧与超参数、架构细节、评估基准的选择等因素都会影响模型最终性能，每个因素都引入自身的不确定性
在固定计算资源下，参数过多但数据不足会导致模型无法充分学习，数据海量但参数不足则模型缺乏容量捕捉复杂模式
OpenAI自GPT-3起确立了以规模法则（Scaling Laws）驱动的技术路线，通过增大模型参数量、训练数据量和计算资源来提升模型能力
Kaplan等人发现模型损失与参数量N之间近似满足L(N) ∝ N^(-0.076)的幂律关系
Kaplan等人在2020年提出的神经网络缩放定律表明模型性能与数据量、参数量、计算量之间存在幂律关系，模型交叉熵损失L与参数量N满足L ∝ N^(-α)
2020年OpenAI的Kaplan等人揭示了模型性能与参数量、训练数据量和计算预算之间存在可预测的幂律关系
Scaling Law研究发现模型性能（以交叉熵损失衡量）与模型参数量、数据集大小、计算量之间存在可预测的幂律关系
还有 9 条时间轴事件
全部知识事实 (20)
OpenAI提出的Scaling Law揭示模型性能随参数量、训练数据量和计算量的增加呈现可预测的幂律式提升
90%已验证Scaling Law 最早由 Kaplan 等人于2020年在语言模型研究中系统量化，指出模型性能与参数量、数据量、计算量之间存在幂律关系
90%已验证2020年OpenAI研究人员Kaplan等人发表论文首次系统性揭示语言模型性能与模型参数量、训练数据量、计算量之间存在可预测的幂律关系（Scaling Law）
90%已验证规模定律（Scaling Law）指模型能力随参数量和训练数据量增长呈现可预测的规律性提升
80%已验证Scaling Law研究发现模型性能与模型参数量N、数据集大小D、训练计算量C之间呈现平滑的幂律关系
75%已验证规模定律由OpenAI研究员Jared Kaplan等人于2020年系统论证，核心发现是语言模型交叉熵损失与模型参数量、训练数据量、计算量之间存在幂律关系
75%已验证2020年OpenAI的Kaplan等人揭示了模型性能与参数量、训练数据量和计算预算之间存在可预测的幂律关系
70%待验证缩放定律（Scaling Laws）由Kaplan等人在2020年提出，后经Chinchilla论文修正
90%待验证数据质量、训练技巧与超参数、架构细节、评估基准的选择等因素都会影响模型最终性能，每个因素都引入自身的不确定性
70%待验证Kaplan等人的论文《Scaling Laws for Neural Language Models》来自OpenAI，首次系统性地用幂律关系描述模型性能与参数量、数据量、算力的关系
70%待验证论文发现对于固定的算力预算，训练一个更小的模型训练更长时间，往往比训练大模型效果更好，这与Chinchilla定律相悖
70%待验证Kaplan等人在2020年提出的神经网络缩放定律表明模型性能与数据量、参数量、计算量之间存在幂律关系，模型交叉熵损失L与参数量N满足L ∝ N^(-α)
60%待验证Scaling Law研究发现模型性能（以交叉熵损失衡量）与模型参数量、数据集大小、计算量之间存在可预测的幂律关系
60%待验证Kaplan等人2020年的Scaling Law论文揭示，在固定算力预算下，模型参数量与训练token数存在最优比例关系（Chinchilla最优）
60%待验证近期业界观察到扩大规模带来的基准测试提升幅度明显缩小，且高质量训练文本数据接近网络可获取上限
50%待验证Scaling Laws描述的是预训练损失的下降，而非所有下游能力的线性提升，部分能力如复杂推理呈现涌现特性
50%待验证在固定计算资源下，参数过多但数据不足会导致模型无法充分学习，数据海量但参数不足则模型缺乏容量捕捉复杂模式
50%待验证顶尖实验室也难以事先精确预测某个规模的模型的表现，往往需要通过大量缩放定律实验来逼近答案
50%待验证OpenAI自GPT-3起确立了以规模法则（Scaling Laws）驱动的技术路线，通过增大模型参数量、训练数据量和计算资源来提升模型能力
50%待验证Kaplan等人发现模型损失与参数量N之间近似满足L(N) ∝ N^(-0.076)的幂律关系
50%