论文Kaplan Scaling Law论文
Scaling Laws for Neural Language Models
OpenAI于2020年发表的开创性论文,首次系统性地用幂律关系描述神经语言模型的性能与参数量、数据量、算力之间的缩放关系
核心事实
时间轴 (近 90 天)
8月24日
2020年Kaplan等人的Scaling Law拟合得出参数增长应快于数据,比例约为2.7:1
待验证90%
OpenAI于2020年发表的开创性论文,首次系统性地用幂律关系描述神经语言模型的性能与参数量、数据量、算力之间的缩放关系
2020年Kaplan等人的Scaling Law拟合得出参数增长应快于数据,比例约为2.7:1