[控场AI]
概念Scaling Law / 缩放定律

规模定律

指模型性能随参数数量、训练数据量和计算量增加呈幂律提升的经验规律,由OpenAI等机构系统量化,是当代大模型研究的核心指导原则之一

时间轴 (近 90 天)

10月21日

当前主流范式以“规模定律”(Scaling Law)为核心——参数、数据、算力同步扩大即可带来可预测的性能提升。

待验证50%
10月12日

凯文·凯利在2016年时没有预见到规模定律的威力,当时学界普遍预期深度学习会较快遇到收益递减。

待验证50%
8月28日

规模定律(Scaling Laws)指模型性能随参数量、训练数据量和计算量的增加呈幂律提升,但某些能力呈现相变般的非线性跳跃

待验证50%

全部知识事实 (3)

来源文章