ConceptScaling Law
缩放定律
由OpenAI研究人员Kaplan等人于2020年提出，揭示了模型性能与参数量、训练数据量、计算量之间的幂律关系，驱动了GPT-3、GPT-4等大规模模型的诞生
Core Facts
Timeline (last 90 days)
Sep 7
DeepMind在Chinchilla论文中证明相当比例的大模型是数据不足的，即在给定计算预算下应使用更多高质量数据
Unverified50%
Jul 22
OpenAI提出的Scaling Law揭示模型性能随参数量、训练数据量和计算量的增加呈现可预测的幂律式提升
Verified65%