LLM构建全流程：为什么多数解读都停在Transformer

大多数"LLM如何工作"的科普文章写到Transformer和注意力机制就戛然而止。但真正决定一个模型好不好用的部分——数据管道、后训练配方、评估体系、系统工程——往往只用一句话带过。

最近一篇在技术社区流传的笔记，把Yann Dubois在斯坦福CS229的 guest lecture（Building Large Language Models）整理成了一份可逐条核验的时间戳索引，并打包成可安装的agent skill。它没有讲新东西，但把"行业里真正在卷什么"讲清楚了。

LLM构建全流程解读

五个组件，谁在真正优化什么

讲者把LLM构建拆成五个部分，并给出了一个不太舒服的结论：学术界扎堆的架构，恰恰不是实际杠杆所在。

组件	决定什么	谁在推动
架构	容量与形状	学术界
训练目标	训练时"好"的定义	学术界
数据	模型见过什么	工业界
评估	能否判断它变好了	工业界
系统	训练能不能跑完	工业界

这个分工不是偶然。架构创新发论文快、可复现；而数据清洗、评估设计、分布式训练这些活，既发不了顶会，又直接决定模型成败。Llama团队的数据组大约15人，比建模组人还多，用的CPU比GPU还多——这个细节本身就说明问题。

预训练：所谓"在互联网上训练"到底在干什么

"直接拿互联网数据训练"这句话掩盖了全部工作量。真实管道大致是八步：

抓取——Common Crawl约2500亿页面、约1PB。
提取——HTML转文本。随机页面上全是菜单、页脚和截断的句子。
过滤——NSFW、有害内容、PII，靠黑名单加小分类器。
去重——模板文本、同一页面多个URL、重复上千次的段落。
启发式规则——异常token分布、奇怪词长、过短过长。
模型过滤——用"维基百科外链站点 vs 随机网页"训练分类器，偏向前者。
配比——上调代码和书籍权重，下调娱乐内容。更多代码可测量地提升推理能力。
最终阶段——高质量数据配衰减学习率，实质上是在维基百科级文本上过拟合。

规模方面，损失随参数、数据、算力呈幂律下降，所以小规模实验能预测大规模结果。Chinchilla的结论是每参数约20个token——早期模型普遍"数据饥饿"。

后训练：从自动补全到助手

SFT是在人类写的理想答案上做下一token训练。关键洞察是：它教的是格式和人设，不是知识。LIMA把示例从2000扩到32000，质量几乎没动。它还会教模型给出看起来合理的答案而不是承认不知道——这是幻觉的来源之一。

RLHF用偏好替代示范：给两个答案让人选哪个更好，训练奖励模型（Bradley–Terry），再用PPO优化策略，并加惩罚项防止过度优化奖励。二值奖励太稀疏——你学到的是哪个答案赢了，而不是赢多少。

DPO跳过RL循环：提高偏好答案的似然，降低非偏好答案的似然。标准假设下最优解与PPO一致，实现却简单得多，所以成了开源社区的默认选择。

经济学账本比多数人想的更重要：人类在二值偏好任务上自我一致率只有约66%，人工标注约每1000条300美元，而LLM标注便宜约50倍、与人类多数意见的一致率还更高。要警惕的偏差是：标注者偏好更长的答案，于是模型学会了啰嗦——这就是ChatGPT话多的由来。

Bradley–Terry 模型是一种用于成对比较的统计模型，假设每个选项有一个潜在的“强度”参数，两个选项被偏好的概率与它们强度之差相关。在 RLHF 中，它被用来将人类偏好标注转化为可学习的奖励函数，从而让模型能够泛化到未见过的答案对。

PPO（近端策略优化） 是一种强化学习算法，通过限制策略更新的幅度来保证训练稳定。在 RLHF 中，它用于根据奖励模型的反馈微调语言模型，同时用 KL 惩罚项防止新策略偏离原始模型太远，避免奖励劫持。

DPO（直接偏好优化） 是一种无需强化学习循环的偏好优化方法。它通过数学变换将 RLHF 的目标函数转化为简单的分类损失：直接提高偏好答案的似然、降低非偏好答案的似然。由于实现简单且训练稳定，DPO 已成为开源社区微调模型的主流选择。

评估：声明悄悄失效的地方

验证损失不可比——PPO和DPO目标函数不同，loss没法横向比较。
困惑度在PPO之后失去意义——模型是策略，不再是文本上的分布。
Chatbot Arena是最受信任的信号，但慢、贵、且偏向技术用户。
LLM-as-judge与Arena相关性约98%，成本低于10美元、3分钟内出结果——但有已知的长度偏好和自家风格偏好。

所以在相信任何benchmark数字之前，先问三个问题：哪个benchmark、对谁、谁来判。

系统工程：没人发推的部分

混合精度（权重存32位、计算用16位、更新回32位）和算子融合（torch.compile通过让数据只过一次GPU显存而非每个算子过一次，训练约快2倍）。这些工作不性感，却常常决定一次训练能不能跑完。

多源交叉验证下的共识与分歧

据B站与YouTube上多位技术UP主对该讲座的解读，以及原笔记本身的表述，几项事实形成共识：数据与评估是工业界的真正战场；SFT主要塑造格式而非注入知识；DPO因实现简单正在取代PPO成为开源默认。

分歧则出现在评估环节：一方认为LLM-as-judge的高相关性足以在多数场景替代人工Arena，另一方（包括原笔记的谨慎措辞）强调其长度与风格偏差会在生产环境中放大，只能作为快速迭代信号而非最终裁决。

单一来源的补充观点：笔记作者明确标注这些是2024年讲座的非官方笔记，保留了讲者的模糊表述而非升级为事实，且长上下文、推理模型、合成数据管道等新方法明确不在覆盖范围内。

完整索引已开源在GitHub（MIT协议），每条主张都带时间戳，可以自己核验而不是信任二手总结。

背景补充

Chinchilla 缩放定律来自 DeepMind 2022 年的论文，核心结论是：在固定算力预算下，模型参数量与训练 token 数应大致按 1:20 的比例同步扩展，才能达到最优性能。此前的模型（如 GPT-3）参数量远大于训练数据量，被称为“数据饥饿”。这一发现直接推动了后续模型普遍增大数据规模，也使得数据管道的质量与数量成为工业界竞争焦点。