概念Scaling Law / 缩放定律
规模定律
指模型性能随参数数量、训练数据量和计算量增加呈幂律提升的经验规律,由OpenAI等机构系统量化,是当代大模型研究的核心指导原则之一
时间轴 (近 90 天)
10月21日
当前主流范式以“规模定律”(Scaling Law)为核心——参数、数据、算力同步扩大即可带来可预测的性能提升。
待验证50%
10月12日
凯文·凯利在2016年时没有预见到规模定律的威力,当时学界普遍预期深度学习会较快遇到收益递减。
待验证50%
8月28日
规模定律(Scaling Laws)指模型性能随参数量、训练数据量和计算量的增加呈幂律提升,但某些能力呈现相变般的非线性跳跃
待验证50%