[控场AI]
概念Chinchilla Scaling Law / 缩放定律

Chinchilla缩放定律

由DeepMind提出的大语言模型训练规律,描述了模型参数量与训练数据量的最优配比关系,指出在固定算力预算下应同比例扩展模型规模和训练数据量以获得最优性能

时间轴 (近 90 天)

8月28日

Chinchilla缩放定律的核心发现是:在固定计算预算下,同步增加模型参数和训练数据量才能获得最优性能

待验证60%

全部知识事实 (1)

来源文章