ConceptScaling Law / 缩放定律
规模定律
指模型性能随参数数量、训练数据量和计算量增加呈幂律提升的经验规律,由OpenAI等机构系统量化,是当代大模型研究的核心指导原则之一
Timeline (last 90 days)
Oct 21
The current mainstream paradigm centers on the Scaling Law—simultaneously expanding parameters, data and compute yields predictable performance gains.
Unverified50%
Oct 12
凯文·凯利在2016年时没有预见到规模定律的威力,当时学界普遍预期深度学习会较快遇到收益递减。
Unverified50%
Aug 28
规模定律(Scaling Laws)指模型性能随参数量、训练数据量和计算量的增加呈幂律提升,但某些能力呈现相变般的非线性跳跃
Unverified50%