预训练

大语言模型能力形成的根本阶段，通过在海量文本语料上进行自监督学习（通常为下一个词预测任务）使模型习得语言规律、世界知识和推理模式，决定模型的能力上限