DeepMind于2022年提出的训练效率理论,修正了Scaling Law的最优算力分配比例,指出数据量与参数量应等比例扩展。
Chinchilla定律指出在固定计算预算下,适当缩小模型规模并增加训练数据量往往能获得更好的性能