预训练
大语言模型能力形成的根本阶段，通过在海量文本语料上进行自监督学习（通常为下一个词预测任务）使模型习得语言规律、世界知识和推理模式，决定模型的能力上限
核心事实
时间轴 (近 90 天)
预训练需要数千张GPU和数百万美元级投入，通常只有模型厂商或极少数头部企业会涉足。
预训练指在海量无标注文本上从零训练基础模型，成本动辄数百万美元、需要数千张 GPU。
预训练阶段模型学习的是各种倾向之间的统计关系，这些关系跨越整个语料形成，而不存在于任何单篇文档中。
只经过预训练的模型擅长续写文本，但不擅长回答问题或遵循指令；Anthropic的术语表直接说明了这一点。
预训练阶段模型仅通过预测下一个词的目标学习文本中的统计规律，没有任何标签告诉它哪句话真、哪句话假。
微调过程中过度依赖微调部分，可能正是罕见类能力被遮蔽的根源；将模型计算适度导向预训练组件，或许是一条更稳健的微调路线。
模型在预训练阶段大量接触人类社会语料，其中权威性表达往往与应被遵从的语境共现，因此模型可能在参数层面习得了对社会属性的敏感度。
预训练对显存（或NPU片上内存）的占用通常是推理的数倍，且对数值精度极为敏感，混合精度训练中一旦出现溢出或下溢，可能导致loss发散。
如果NPU能够胜任预训练，就意味着存在替代的采购和基础设施路径。
预训练与推理在工程需求上有本质差异：推理是前向计算，对数值精度容忍度高，可量化到INT8甚至INT4，且可离线编译固定计算图；预训练需完整的前向与反向传播、优化器状态维护、梯度跨设备同步。
还有 15 条时间轴事件
全部知识事实 (20)
大语言模型的预训练过程需要数千块高端GPU并行运算数月，耗资通常在数千万到数亿美元之间
90%已验证大语言模型通过在数千亿乃至数万亿个词元（Token）的文本数据上进行自监督预训练
80%已验证当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证强化学习训练是模型从通用语言能力迈向精准任务执行的关键阶段，在大规模预训练之后通过强化学习进一步优化推理、规划和指令遵循能力
75%已验证预训练模型是指在大规模数据集上预先训练好的模型，用户可以直接微调或调用来完成特定任务
75%已验证上下文学习最初在大语言模型中被观察到，其能力本质源于预训练数据的多样性
75%已验证大模型训练经历三个核心阶段：预训练、有监督微调（SFT）和偏好对齐
75%已验证仅用成功轨迹训练的模型往往存在分布外泛化的严重缺陷，遇到工具返回错误时便丧失纠偏能力
70%已验证混合精度训练和梯度累积等技术可以在有限GPU内存下训练更大模型
65%待验证训练数据在输入模型前会经过严格的去重、过滤和质量筛选，低质量内容、重复文本、有害内容会被剔除
90%待验证预训练阶段的语言模型只学会续写文本，并不理解回答问题或遵循指令的概念
60%待验证AI的训练过程分为三个阶段：预训练、后训练和对齐
55%待验证预训练需要数千张GPU和数百万美元级投入，通常只有模型厂商或极少数头部企业会涉足。
50%待验证预训练指在海量无标注文本上从零训练基础模型，成本动辄数百万美元、需要数千张 GPU。
50%待验证预训练阶段模型学习的是各种倾向之间的统计关系，这些关系跨越整个语料形成，而不存在于任何单篇文档中。
50%待验证只经过预训练的模型擅长续写文本，但不擅长回答问题或遵循指令；Anthropic的术语表直接说明了这一点。
50%待验证预训练阶段模型仅通过预测下一个词的目标学习文本中的统计规律，没有任何标签告诉它哪句话真、哪句话假。
50%待验证微调过程中过度依赖微调部分，可能正是罕见类能力被遮蔽的根源；将模型计算适度导向预训练组件，或许是一条更稳健的微调路线。
50%待验证模型在预训练阶段大量接触人类社会语料，其中权威性表达往往与应被遵从的语境共现，因此模型可能在参数层面习得了对社会属性的敏感度。
50%