预训练阶段模型学习的是各种倾向之间的统计关系，这些关系跨越整个语料形成，而不存在于任何单篇文档中。