概念Scaling Law
缩放定律
由OpenAI研究人员Kaplan等人于2020年提出，揭示了模型性能与参数量、训练数据量、计算量之间的幂律关系，驱动了GPT-3、GPT-4等大规模模型的诞生
核心事实
时间轴 (近 90 天)
9月7日
DeepMind在Chinchilla论文中证明相当比例的大模型是数据不足的，即在给定计算预算下应使用更多高质量数据
待验证50%
7月22日
OpenAI提出的Scaling Law揭示模型性能随参数量、训练数据量和计算量的增加呈现可预测的幂律式提升
已验证65%