预训练数据管道通常包括八个步骤：抓取、提取、过滤、去重、启发式规则、模型过滤、配比、最终阶段（高质量数据配衰减学习率）。