缩放定律
由OpenAI研究人员Kaplan等人于2020年提出，揭示了模型性能与参数量、训练数据量、计算量之间的幂律关系，驱动了GPT-3、GPT-4等大规模模型的诞生
核心事实
时间轴 (近 90 天)
OpenAI 在 GPT-2、GPT-3 等工作中系统验证了缩放定律，并将其作为模型研发路线规划的基础。
缩放定律不仅能预测性能，还能反向指导数据合成管道的设计。
缩放定律最初在语言模型研究中被广泛验证，指模型性能随模型规模、数据量和计算量的增加而呈现可预测的幂律关系。
缩放定律（scaling laws）描述了模型损失随参数量、数据量和计算量呈幂律下降的经验规律。
缩放定律支撑了“更大模型必然更强”的产业共识，并影响了算力投入与模型规模的决策逻辑。
缩放定律（Scaling Laws）指模型性能（如损失函数值）与模型参数量、数据量、计算量之间呈现幂律关系。
缩放定律最早由OpenAI等机构在2020年前后系统总结。
DeepMind在Chinchilla论文中证明相当比例的大模型是数据不足的，即在给定计算预算下应使用更多高质量数据
扩散模型在全局一致性上表现更好但推理速度较慢，自回归模型以逐帧或逐片段方式生成
全部知识事实 (10)
OpenAI提出的Scaling Law揭示模型性能随参数量、训练数据量和计算量的增加呈现可预测的幂律式提升
90%待验证DeepMind在Chinchilla论文中证明相当比例的大模型是数据不足的，即在给定计算预算下应使用更多高质量数据
70%待验证OpenAI 在 GPT-2、GPT-3 等工作中系统验证了缩放定律，并将其作为模型研发路线规划的基础。
50%待验证缩放定律最初在语言模型研究中被广泛验证，指模型性能随模型规模、数据量和计算量的增加而呈现可预测的幂律关系。
50%待验证缩放定律不仅能预测性能，还能反向指导数据合成管道的设计。
50%待验证缩放定律（scaling laws）描述了模型损失随参数量、数据量和计算量呈幂律下降的经验规律。
50%待验证缩放定律（Scaling Laws）指模型性能（如损失函数值）与模型参数量、数据量、计算量之间呈现幂律关系。
50%待验证缩放定律支撑了“更大模型必然更强”的产业共识，并影响了算力投入与模型规模的决策逻辑。
50%待验证缩放定律最早由OpenAI等机构在2020年前后系统总结。
50%待验证扩散模型在全局一致性上表现更好但推理速度较慢，自回归模型以逐帧或逐片段方式生成
50%