750美元从零训练3个LLM：一位开发者的实战复盘

近期，一位开发者在Reddit上分享了他从零训练大语言模型（LLM）的完整实战经历。他跟随Karpathy的nanochat项目，用大约750美元的预算，从头训练了3个不同版本、共计9个检查点的模型（参数量从353M到672M），并将它们部署到了Hugging Face Space上供公众体验。这篇复盘不仅展示了小规模LLM训练的可行性，更提供了大量宝贵的工程实践教训。

reddit原帖

三代模型的迭代之路

这位开发者的目标是挑战自己，因此选择了纯PyTorch（在Claude的辅助指导下）来实现，而非依赖高层框架。整个项目分三个版本递进，清晰地展示了现代LLM架构技术的演进逻辑。

V1：现代架构基线

V1是一个"基础版"的现代架构模型，采用了当下主流的组件组合：

SwiGLU：激活函数，广泛用于现代大模型的前馈层。SwiGLU由Google研究员Noam Shazeer在2020年提出，它将Swish激活函数与GLU（门控线性单元）结合，通过引入门控机制让网络更灵活地控制信息流通。具体来说，输入被分为两路，一路经过Swish激活，另一路作为门控信号，两者逐元素相乘得到输出。虽然这会增加约50%的前馈层参数量，但在相同计算预算下，SwiGLU已被实验证明能持续提升模型质量。Meta的LLaMA、Google的PaLM等主流模型均采用了这一设计，使其成为现代LLM的事实标准组件。
MHA（多头注意力）：标准的注意力机制，是Transformer架构的核心组件。每个注意力头独立地学习不同的注意力模式，然后将结果拼接融合。
RoPE（旋转位置编码）：目前主流的位置编码方案，由苏剑林在2021年提出。与早期的正弦位置编码或可学习位置编码不同，RoPE通过对Query和Key向量施加与位置相关的旋转变换，将绝对位置信息巧妙编码为相对位置关系——两个token之间的注意力分数只取决于它们的相对距离，而非各自的绝对位置。这一特性使得RoPE天然具备良好的外推能力，理论上可以处理比训练时更长的序列，并且与NTK-aware缩放、YaRN等长度扩展技术高度兼容，极大提升了部署时的灵活性。

这套配置构成了一个可靠的起点，也为后续版本的改进提供了对照基准。

V2：引入前沿技术

在V2中，开发者一口气尝试了多项现代优化技术：

GQA（分组查询注意力）：在MHA基础上减少KV头数量，降低推理时的内存开销。GQA由Google在2023年提出，是介于标准MHA和多查询注意力（MQA）之间的折中方案。标准MHA中每个注意力头都有独立的Key和Value投影，推理时需要为每个头缓存独立的KV对，内存开销随头数线性增长。MQA走向另一个极端——所有查询头共享一组KV，内存大减但质量损失明显。GQA将查询头分成若干组，每组共享一套KV投影，在效率和质量之间取得了更好的平衡。例如LLaMA 2的70B版本采用8组GQA，将KV缓存减少到MHA的1/4，同时几乎不影响模型质量。
Muon：一种较新的优化器，由Jeremy Bernstein等人提出，其核心思想是对梯度矩阵执行正交化处理（通过Newton-Schulz迭代近似计算矩阵的极分解），使得每一步更新都沿着最优的正交方向进行。与传统Adam通过维护梯度矩估计来自适应调整学习率不同，Muon在理论上能更高效地利用每一步梯度更新。该优化器最初在Karpathy发起的nanogpt-speedrun社区实验中引起广泛关注，多位参与者报告了训练速度的显著提升，不过其在大规模训练中的稳定性和超参数敏感性仍在持续探索中。
DiffAttn（差分注意力）：旨在减少注意力噪声的机制，由微软研究院在2024年提出。在传统Softmax注意力中，即使是与当前token完全无关的位置，也会分配到非零的注意力权重，这些微小权重构成了累积的噪声信号。DiffAttn使用两组注意力头分别计算注意力分数，然后取两者之差作为最终权重——由于噪声信号在两组头中大致相同，相减后被有效消除，而真正重要的注意力信号得以保留。这一机制类似于电子工程中的差分信号传输原理，通过计算差值来抑制共模噪声。

你可能没注意到，他还尝试了mHC技术，但发现它对吞吐量的影响过于严重（too harsh on throughput），因此在正式训练中放弃使用。这体现了一个重要的工程权衡——理论上的优化技术不一定适合实际的算力预算。

V3：扩容与推理优化

V3将V2的参数量翻倍，并用XSA替代了DiffAttn。更关键的是，开发者为这一版本编写了KV缓存（KV Cache）用于服务部署，效果立竿见影：

从512-token的提示词生成100个token，耗时从278秒骤降到28秒。

近10倍的推理加速，充分说明了KV缓存在实际部署中的重要性。KV缓存是自回归语言模型推理优化中最基础也最关键的技术。在自回归生成中，模型每次只生成一个新token，但标准的注意力计算需要对整个序列重新计算Key和Value投影——生成第N个token时，前N-1个token的KV计算在之前步骤中已经做过，属于纯粹的重复计算。KV缓存的做法是将每一步的Key和Value向量存储下来，后续步骤直接复用，新token只需计算自己的Query、Key、Value，再与缓存中的历史KV拼接完成注意力计算，将每一步的计算复杂度从O(N²)降低到O(N)。代价是需要额外的内存，这也是GQA等技术重要的原因——它们直接减少了需要缓存的KV数量。

开发者还通过对比启用和不启用缓存的短推理结果（差异在噪声范围内）来验证其实现的正确性，这是一个严谨的工程做法。

训练效果：预训练顺利，后训练遇挫

从预训练验证损失（val loss）来看，三代模型呈现出稳定的下降趋势：2.87 → 2.78 → 2.59。开发者表示这一结果"完全符合预期，没有意外"，说明架构改进和参数扩容确实带来了可预期的收益。

然而，真正的挑战出现在后训练（post-training）阶段。

SFT微调：有效但有代价

监督微调（SFT）本身是有效的，但代价是模型的通用知识（general knowledge）出现了下降。这是小模型微调中常见的"知识遗忘"现象（也称为灾难性遗忘，catastrophic forgetting）——当模型参数量有限时，学习特定任务往往会挤占原有的通用能力。在大模型中，由于参数空间足够庞大，模型有足够的"容量"同时保持通用知识和学习新任务；但在几百M参数的小模型中，这种容量瓶颈就变得非常突出。

GRPO强化学习：小规模下的失败

最令人深思的是GRPO（Group Relative Policy Optimization）的结果。GRPO是DeepSeek在2024年提出的一种强化学习算法，专门用于LLM的后训练对齐。它是PPO的一种变体，但做了关键简化：不需要训练独立的价值模型（critic），而是通过在同一个prompt下采样多个回答，以组内回答的相对质量排序来估计基线，从而计算策略梯度。这种设计大幅降低了训练成本和工程复杂度，在DeepSeek-R1的训练中成功让模型涌现出自发的思维链推理能力，引起了业界广泛关注。

然而，开发者尝试用GRPO让模型学习算术能力，虽然确实取得了小幅进步，但代价是通用能力的显著退化。

三个模型都没能"熬过"GRPO阶段。

开发者坦言不确定具体原因（因为这并非受控实验），但这一发现极具价值：在如此小的模型规模上，GRPO这类强化学习方法可能并不适用。强化学习通常需要模型具备足够的基础能力才能稳定地"探索"和"改进"——模型需要能够生成足够质量的正样本来提供有效的学习信号。而几百M参数的模型可能尚未达到这一门槛，强化学习的"探索"过程非但无法产生高质量的正样本，反而会因为不断采样低质量回答而破坏已有的能力基础。

五条来之不易的工程教训

抛开具体的技术细节，这位开发者总结的工程实践教训，对任何想要动手训练模型的人都有极高的参考价值。

1. 从第一天就建立评估体系

开发者强调，应该从项目开始就用一个**留出集（held-out set）**进行规范的评估测量。他最初没有做这件事，导致后来不得不补做V1/V2/V3的对比评估，浪费了不少时间。评估基础设施应当是项目的第一优先级，而非事后补充。

2. 一次只改一个变量

他坦言，理想情况下应该做严格的消融实验（ablation study）——每次只改变一个变量。消融实验是机器学习研究中验证各组件贡献的标准方法论：以完整系统为基线，每次只移除或替换其中一个组件，观察性能变化，从而精确量化该组件的贡献。这就好比同时更换了发动机、轮胎、燃油和悬挂的赛车，无法判断哪项改装提升了圈速。但由于预算限制，他在V1到V2之间一次性加入了5种新技术，导致无法判断具体是哪项改进起了作用（或起了反作用）。N个变量至少需要N+1次实验才能各自归因，这在GPU训练中意味着显著的额外成本。这也解释了为什么GRPO失败后难以定位原因。

3. 难点不在训练循环，而在基础设施

一个反直觉的观察是：训练循环本身相对简单，真正复杂的是整个基础设施和数据管道（infrastructure/piping）。很多初学者以为训练模型的核心是写好前向/反向传播，但实际的工程复杂度往往集中在数据处理、检查点管理、分布式配置等"周边"环节。这些工作包括：高效的数据加载和预处理管道、训练中断后的断点续训机制、多GPU之间的通信和同步、混合精度训练的数值稳定性、学习率调度策略的实现等等。这些"胶水代码"的总量和复杂度往往远超核心训练逻辑本身。

4. 用断言检查配置

开发者在正式运行前，为模型配置编写了一系列断言（assertion），这帮助他捕获了几个问题——例如通过参数量校验，发现了一个错误的配置。这是一个成本极低但收益极高的防御性编程实践，能在昂贵的GPU训练开始前避免灾难性错误。典型的断言检查包括：验证模型参数量是否与预期一致、确认词表大小与tokenizer匹配、检查序列长度配置是否合理、验证GQA的头数能被查询头数整除等。一个配置错误可能导致数小时的GPU时间被浪费，而一行断言语句就能在训练启动的前几秒将其拦截。

5. 充分的冒烟测试与全程追踪

最后，他建议在启动昂贵的正式训练前，先在便宜的GPU上进行大量冒烟测试（smoke test）和短时运行。冒烟测试这一术语源自硬件工程——给新组装的电路板通电后，如果没有冒烟就算通过了最基本的安全检查。在ML工程中，冒烟测试指用极小的数据量和极少的训练步数快速跑通完整流程，验证从数据加载、前向传播、损失计算、反向传播到检查点保存的整个管道没有bug。典型检查项包括：验证损失在前几步是否下降（排除梯度方向错误）、确认梯度范数在合理范围内（排除梯度爆炸/消失）、以及确保检查点可以正确加载恢复训练。同时，要用wandb等实验追踪工具记录一切指标。在按小时计费的云GPU环境下，这些前置验证能有效避免烧钱。

小成本训练LLM的启示

这个项目最大的意义或许不在于最终的模型效果，而在于它证明了个人开发者用不到千元美元的预算，就能完整走通从零训练LLM的全流程——包括架构设计、多版本迭代、后训练、KV缓存优化和公开部署。

开发者已经将模型权重开源在Hugging Face，代码放在了GitHub，并提供了在线体验的playground。对于希望深入理解LLM训练全貌、而非仅停留在API调用层面的学习者来说，这样的第一手实战复盘远比理论教程更有价值。它清晰地告诉我们：预训练的收益是可预期的，但后训练——尤其是强化学习——在小规模下充满了不确定性，值得每一位实践者谨慎对待。