MiniMind：2小时从零训练一个大语言模型的开源教程

从零训练一个属于自己的大语言模型

在大模型动辄数千亿参数、训练成本以百万美元计的今天，一个名为 MiniMind 的开源项目却反其道而行之——它主打的口号是「用 2 小时、从零训练一个 64M 参数的大语言模型」。这个项目一经发布便迅速在 GitHub 上收获了超过 5.5 万 Stars、7287 次 Fork，仅一天之内就新增了 472 颗星，成为国内外开发者热议的教育型 LLM 项目。

MiniMind 的价值不在于「造出一个能与 GPT 抗衡的模型」，而在于把大语言模型从一个「黑箱」变成一个「可拆解、可复现、可理解」的学习对象。对于绝大多数开发者而言，训练顶级大模型既不现实也无必要，但完整走一遍「从数据到推理」的全流程，却是理解 LLM 本质的最佳途径。

为什么一个 64M 参数的小模型值得关注

极低的训练门槛让个人开发者也能上手

项目最核心的卖点，是把训练成本压缩到了个人开发者可承受的范围。作者声称，最小版本的模型仅有约 2600 万到 6400 万参数，在单张消费级 GPU（如 NVIDIA 3090）上，最快 2 小时 即可完成从随机初始化到可对话的完整训练。相比动辄需要集群、数周训练的主流模型，这几乎是「玩具级」的成本。

这里值得具体说明一下硬件门槛。NVIDIA RTX 3090 是一款发布于 2020 年的消费级显卡，配备 24GB GDDR6X 显存和约 35.6 TFLOPS 的 FP32 算力，当时零售价约为人民币一万余元，如今二手市场价格更低。相比之下，数据中心级的 NVIDIA A100（80GB 版本）单卡售价超过十万元人民币，而训练 GPT-3 级别模型所使用的算力集群总投入可达数百万美元。即便是开源社区中较小的模型如 LLaMA-7B，完整预训练也需要 2048 张 A100 GPU 运行约 21 天。MiniMind 将参数量压缩到 64M（约为 GPT-3 的二千七百分之一），使得在单张消费级 GPU 上完成全流程训练成为可能。这种极端简化虽然牺牲了模型能力，但换来了前所未有的学习可达性——实际上，即便是配备 16GB 显存的 RTX 4060 Ti 等更低端的显卡也能顺利运行训练流程。

这种设计取向背后是一个清晰的教育理念：先跑通，再理解，再优化。当训练一个模型的时间从「几周」缩短到「一个下午」，学习者就能进行大量试错和实验，真正建立对超参数、数据质量、训练技巧的直觉认知。所谓超参数（Hyperparameters），是指在训练开始前需要人为设定的参数，包括学习率（Learning Rate，控制每次参数更新的步幅大小）、批量大小（Batch Size，每次训练迭代中处理的样本数）、训练轮数（Epochs）、Warmup 步数等。这些超参数的选择往往对训练效果有决定性影响，但最佳配置通常需要通过大量实验来摸索。MiniMind 的低训练成本使得学习者可以在几小时内尝试不同的超参数组合，快速积累实践经验。

全流程开源：用纯 PyTorch 从零实现 LLM

MiniMind 最难得的一点，是它并非简单调用 Hugging Face 的高层封装，而是用纯 PyTorch 原生代码实现了 LLM 的核心结构。PyTorch 是由 Meta AI 开发维护的深度学习框架，以其动态计算图（Define-by-Run）和 Pythonic 的编程风格而广受研究者和开发者青睐。与 Google 的 TensorFlow/JAX 等框架不同，PyTorch 的动态图机制允许开发者像编写普通 Python 程序一样构建神经网络，调试和修改极为方便，目前已成为学术界和工业界训练大语言模型的主流框架。而 Hugging Face 的 Transformers 库则在 PyTorch 之上提供了大量预封装的模型和训练工具（如 Trainer API），虽然使用方便，但也在一定程度上隐藏了底层实现细节——例如注意力计算、位置编码、KV Cache 等关键机制被封装在数层抽象之下。MiniMind 选择纯 PyTorch 实现，意味着每一行关键代码都对学习者透明可见。

值得一提的是，MiniMind 并非这个赛道上的唯一项目。Andrej Karpathy（前 Tesla AI 负责人、OpenAI 联合创始人）开发的 nanoGPT 是最早引发广泛关注的极简 LLM 训练项目，它用约 600 行代码实现了 GPT-2 的训练；他后来又推出了 llm.c，用纯 C 语言实现 LLM 训练以追求极致性能。相比之下，MiniMind 的独特价值在于：它覆盖了更完整的训练流程（包括 SFT、DPO、蒸馏等 nanoGPT 未涉及的阶段），提供了完善的中文文档和教程，且采用了更贴近现代 LLM 的架构设计（如 RoPE、GQA 等），因此对中文开发者和希望全面了解 LLM 全生命周期的学习者更为友好。

项目覆盖了一个大语言模型完整生命周期的所有关键环节：

• Tokenizer 训练：从零构建分词器，而非直接复用现成词表。分词器（Tokenizer）是大语言模型处理文本的第一步，它将原始文本切分为模型可处理的最小单元——token。一个 token 可以是一个完整的词、一个子词片段、甚至一个单独的字符或字节。现代 LLM 普遍采用基于子词的分词算法，其中最常见的是 BPE（Byte Pair Encoding，字节对编码）。BPE 从单个字符（或字节）开始，反复统计语料中最频繁出现的相邻符号对并将其合并为新的子词单元，直至词表达到预设大小（如 6400 个 token——MiniMind 的默认词表大小）。这种方法在词表大小和文本表示效率之间取得了良好平衡——常见词被整体编码为单个 token，罕见词则被拆分为多个子词片段，有效解决了未登录词（OOV）问题。除 BPE 外，另一种常见的分词算法是 SentencePiece 中的 Unigram 模型，它从一个大词表出发逐步裁剪低概率的子词。词表大小的选择本身也是一个重要的工程决策：词表越大，单个 token 承载的信息越多、序列越短，但嵌入层参数量也越大；词表越小则相反。MiniMind 从零训练 Tokenizer 意味着学习者可以完整理解这个通常被忽视但对模型性能至关重要的环节。

• 预训练（Pretrain）：在无标注文本上进行自回归语言建模。自回归语言建模是当前几乎所有主流大语言模型（GPT 系列、LLaMA、DeepSeek、Qwen 等）的核心训练范式。其基本思想用数学语言表达为：给定一段文本序列 $x_1, x_2, ..., x_n$，模型需要最大化条件概率 $P(x_t | x_1, x_2, ..., x_{t-1})$ 的对数似然之和，也就是在给定前面所有词的条件下，尽可能准确地预测下一个词的概率分布。训练时使用的损失函数是交叉熵损失（Cross-Entropy Loss），它衡量模型预测的概率分布与真实分布（即下一个词的 one-hot 编码）之间的差距。模型从左到右逐个生成 token，每一步都以之前生成的所有 token 作为上下文——这也是为什么 GPT 类模型被称为「因果语言模型」（Causal Language Model），因为信息流严格遵循时间因果方向。这一阶段通常需要海量的文本数据（主流模型动辄使用数万亿 token），模型通过这个过程学习语法结构、语义关系、世界知识和一定程度的推理能力。MiniMind 的预训练使用了约数亿 token 的中文语料，虽然规模远小于商用模型，但足以让学习者观察到损失曲线的下降和模型从「胡言乱语」到「基本通顺」的转变过程。

• 监督微调（SFT）：让模型学会指令跟随与对话。监督微调是将预训练语言模型转变为实用对话助手的关键步骤。预训练阶段的模型虽然学到了丰富的语言知识，但它本质上只是一个「文本续写器」——给它一段开头，它会续写最可能的后续文本，而不是按照用户的意图回答问题。SFT 通过在精心构造的「指令-回答」数据对上进行微调，教会模型理解并遵循人类指令。这些数据通常采用特定的对话模板格式（如 ChatML 格式），包含系统提示、用户输入和助手回复等角色标记。OpenAI 在 InstructGPT 论文中首次系统性地展示了 SFT 的威力：即使是较小的模型，经过高质量的指令微调后，其输出质量也能超越未经微调的更大模型。SFT 数据的质量往往比数量更重要——少量高质量、多样化的指令数据就能显著提升模型的指令遵循能力。

• LoRA 微调：低成本适配特定领域任务。LoRA（Low-Rank Adaptation）是微软研究院的 Edward Hu 等人于 2021 年提出的参数高效微调方法（PEFT），其核心思想基于一个关键洞察：预训练模型在微调过程中的权重更新矩阵 $\Delta W$ 通常具有很低的内在秩（Intrinsic Rank）。因此 LoRA 不直接修改原始模型权重 $W$，而是将权重更新分解为两个小的低秩矩阵的乘积：$\Delta W = BA$，其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$。这些低秩矩阵通常插入在 Transformer 的注意力层（Query、Key、Value 投影矩阵）旁边。以一个维度为 4096×4096 的权重矩阵为例，全参数微调需要更新约 1670 万个参数，而秩为 8 的 LoRA 只需训练 4096×8×2 ≈ 6.5 万个参数，可训练参数量降低到原来的约千分之四，显存占用大幅减少，同时性能接近全参数微调。LoRA 的另一个优势是可以为不同下游任务训练不同的 LoRA 适配器，切换任务时只需替换适配器权重，而无需维护多个完整模型副本。

• DPO 强化学习：基于人类偏好的对齐训练。DPO（Direct Preference Optimization，直接偏好优化）是斯坦福大学的 Rafael Rafailov 等人于 2023 年提出的对齐训练方法，它是传统 RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）的一种更简洁高效的替代方案。要理解 DPO 的意义，需要先了解「对齐」（Alignment）问题：即使经过 SFT 训练的模型也可能产生有害内容、编造虚假信息或不符合人类价值观的输出，因此需要进一步将模型的行为与人类偏好对齐。传统 RLHF 流程包含三个阶段——SFT、训练奖励模型（Reward Model）、使用 PPO（Proximal Policy Optimization）算法优化策略——流程复杂、训练不稳定且超参数敏感。DPO 通过数学推导证明，最优策略可以直接由偏好数据和参考模型的关系来表达，从而将奖励建模和策略优化合并为一个简单的二元交叉熵损失函数，直接在「选中回答 vs 拒绝回答」的偏好数据对上训练语言模型本身，大幅简化了训练流程，同时实验效果与 RLHF 相当甚至更优。

• 模型蒸馏：从大模型向小模型迁移知识。知识蒸馏（Knowledge Distillation）最早由 Geoffrey Hinton 等人在 2015 年的论文《Distilling the Knowledge in a Neural Network》中系统提出，核心思想是将大型「教师模型」（Teacher Model）的知识迁移到小型「学生模型」（Student Model）中。学生模型不仅学习真实标签（硬标签，Hard Labels），还学习教师模型输出的概率分布（软标签，Soft Labels）。软标签中包含了类别之间相似性关系等丰富的「暗知识」（Dark Knowledge）——例如，教师模型在预测某个词时，虽然正确答案概率最高，但其他近义词也获得了较高的概率，这种概率分布的形状编码了词与词之间的语义关系。训练时通过引入「温度」（Temperature）参数来软化概率分布，使得这些暗知识更容易被学生模型吸收。在 LLM 领域，蒸馏技术被广泛用于将超大模型的能力压缩到更小的模型中——DeepSeek-R1 的小尺寸版本就是通过从大模型蒸馏获得的，阿里的 Qwen 系列也大量使用了蒸馏技术。MiniMind 实现了从较大版本模型向更小版本蒸馏的完整流程，让学习者亲手体验知识迁移的效果。

换句话说，你在真实工业级 LLM 训练中会遇到的每一个阶段——预训练、对齐、微调、蒸馏——在 MiniMind 里都能找到一个「最小可运行」的对应实现。这种「麻雀虽小，五脏俱全」的特性，正是它区别于其他玩具项目的关键。

教育价值：把大语言模型「拆开看」

破除对大模型的神秘感

很多开发者对大语言模型的理解停留在「输入 prompt，输出结果」的 API 调用层面。而 MiniMind 通过完整暴露训练代码，让学习者能亲眼看到：模型如何从一堆随机权重开始，逐步学会预测下一个词，再到能进行连贯对话。

这种「白箱化」的过程极具启发性。当你亲手训练出一个虽然稚嫩、但确实能对话的模型时，会对 Transformer 架构、注意力机制、损失下降曲线等概念产生远比读论文更深刻的理解。

Transformer 是 2017 年由 Google 团队的 Vaswani 等人在里程碑式论文《Attention Is All You Need》中提出的神经网络架构，它彻底取代了此前在 NLP 领域占主导地位的 RNN（循环神经网络）和 LSTM（长短期记忆网络）。传统 RNN 必须按时间步顺序处理序列，无法并行计算，且难以有效捕获长距离依赖关系。Transformer 的核心创新——自注意力机制（Self-Attention）——允许序列中的每个位置直接计算与其他所有位置的相关性权重，从而一次性捕获任意距离的依赖关系。具体来说，输入序列中的每个 token 会被转换为三个向量：Query（查询）、Key（键）和 Value（值），通过 Query 与所有 Key 的点积计算注意力分数，再对 Value 进行加权求和得到输出。在实际实现中，多头注意力（Multi-Head Attention）将注意力计算分成多个并行的「头」（如 8 头或 32 头），让模型同时关注不同子空间中的不同类型信息——某些头可能关注语法结构，某些头可能关注语义关联。

MiniMind 的架构设计紧跟现代 LLM 的最佳实践，采用了多项当前主流的技术选择：RMSNorm（Root Mean Square Layer Normalization）替代传统 LayerNorm，省去了计算均值的步骤，训练更稳定且计算更高效；SwiGLU 激活函数替代传统的 ReLU 或 GELU，这是 LLaMA 系列引入的前馈层设计，在实践中表现出更好的训练效果；RoPE（Rotary Position Embedding，旋转位置编码）用于编码 token 的位置信息，它通过对 Query 和 Key 向量施加旋转变换来编码相对位置关系，相比绝对位置编码具有更好的长度外推能力；GQA（Grouped Query Attention，分组查询注意力）是一种介于多头注意力和多查询注意力之间的折中方案——多个 Query 头共享同一组 Key-Value 头，在保持模型质量的同时显著减少推理时的 KV Cache 显存占用。这些技术选择使得 MiniMind 虽小，但在架构层面与 LLaMA 3、Qwen 2 等当前最先进的开源大模型保持一致，学习者在这个小模型上建立的架构认知可以无缝迁移到对大模型的理解中。

而所谓的损失下降曲线（Loss Curve），是训练过程中最重要的监控指标之一。它记录了模型预测错误程度（通常用交叉熵损失衡量）随训练步数的变化趋势。一条健康的损失曲线应当呈现先快速下降、后逐渐趋于平缓的趋势。通过观察损失曲线，学习者可以诊断大量训练问题：如果损失不下降，可能是学习率设置过小或代码存在 bug；如果损失剧烈震荡，可能是学习率过大或批量大小太小；如果训练损失持续下降但验证损失开始上升，则说明模型出现了过拟合（Overfitting）——即模型记住了训练数据的细节而失去了泛化能力。MiniMind 训练过程中可以实时观察这条曲线的变化，这种直观的反馈对于建立训练直觉极为宝贵。

面向中文开发者的完整学习教程

项目不仅提供代码，还配有详尽的中文文档与教程，这也是它在国内社区快速传播的重要原因。对于中文开发者而言，一个用母语讲清楚「大模型是怎么炼成的」的开源项目，其学习友好度远高于晦涩的英文论文和文档。文档从环境配置、数据准备到每个训练阶段都提供了逐步指引，并附有关键概念的图文解释，降低了理解门槛。此外，项目的代码结构也经过精心组织，每个训练阶段对应独立的脚本文件，关键代码段配有详细注释，便于学习者逐模块阅读和理解。

理性看待：小模型的能力边界在哪里

需要清醒认识的是，64M 参数的模型在实际能力上与 GPT-4（据估计超过一万亿参数）、DeepSeek-V3（6710 亿参数）等主流大模型有着天壤之别。MiniMind 训练出的模型无法处理复杂推理、长上下文或专业知识问答，它的输出更多是「像模像样」而非「真正好用」。

这种能力差距不仅仅是参数量的简单数值差异，更涉及到大语言模型领域一个重要的研究发现——缩放定律（Scaling Laws）。2020 年 OpenAI 的 Jared Kaplan 等人发表的开创性研究表明，语言模型的性能（以测试损失衡量）与模型参数量 $N$、训练数据量 $D$ 和计算量 $C$ 之间存在可预测的幂律关系（Power Law）：$L(N) \propto N^{-\alpha}$，当这三个因素按比例增大时，模型的损失值会持续平稳下降，且这种关系在多个数量级上保持惊人的一致性。2022 年 DeepMind 的 Chinchilla 研究进一步修正了这一理论，提出在固定计算预算下，模型参数量和训练数据量应当按比例同步增长以达到最优性能（所谓的「计算最优」训练）。更引人注目的是，当模型规模超过某个临界点时，会出现所谓的「涌现能力」（Emergent Abilities）——一些在小模型上完全不存在的能力（如多步数学推理、代码生成、思维链推理、少样本学习等）会在模型规模达到一定阈值后突然出现。尽管关于涌现能力的存在性和定义学术界仍有争论（部分研究认为这可能是评估指标选择造成的假象），但实践经验普遍表明，64M 参数的模型远未达到执行复杂推理和知识密集型任务所需的规模阈值，这从根本上决定了它的能力上限。

此外，训练数据量也是制约小模型能力的重要因素。根据 Chinchilla 缩放定律，一个 64M 参数的模型的「计算最优」训练数据量约为 13 亿 token（参数量的约 20 倍），而 GPT-4 等模型的训练数据量估计在十万亿 token 量级。更少的参数意味着更低的「知识容量」——模型能存储和运用的世界知识、语言模式都极为有限。

但这恰恰不是它的缺陷，而是它的定位。MiniMind 是一个学习工具，而非生产工具。 它回答的问题是「大模型是怎么工作的」，而不是「如何构建一个商用产品」。用它来入门、教学、做原理性实验，是最合适的用途；若期待它产出可用的对话系统，则会失望。

谁最适合尝试 MiniMind

综合来看，以下几类人群最能从这个项目中受益：

• AI 初学者：希望通过动手实践理解 LLM 全流程的学生和工程师。对于有一定 Python 和深度学习基础但尚未接触过 LLM 训练的学习者，MiniMind 提供了一个完美的起点——代码量适中、运行时间短、文档完善，可以在一天之内完成从阅读代码到训练出模型的完整体验。

• 高校教学场景：可作为深度学习、NLP 课程的实验项目。教师可以基于 MiniMind 设计一系列递进式实验：先跑通基础预训练，再尝试修改架构（如改变层数、注意力头数）观察效果变化，然后实践 SFT 和 DPO 理解对齐技术，最后通过 LoRA 实验理解参数高效微调——每个实验都能在课堂时间内完成。

• 算法研究者：需要一个轻量、可快速迭代的实验平台验证想法。当研究者有了新的训练策略、架构改进或数据处理方法的灵感时，在 64M 参数的模型上进行初步验证只需几小时，远快于在大模型上实验。虽然小模型上的结论不一定完全适用于大模型，但可以快速排除明显无效的方案。

• 对大模型好奇的开发者：想破除神秘感、亲手「炼」一个模型

结语

在大模型军备竞赛愈演愈烈的当下，MiniMind 提供了一个珍贵的「反向视角」：不是追求更大、更强，而是追求更透明、更可理解。它用极低的成本，把一个原本高高在上的技术拉回到普通开发者触手可及的范围。

超过 5.5 万的 Star 数已经说明了社区对这种「教育普惠」理念的认可。对于任何想真正搞懂大语言模型底层原理的人来说，花一个下午跑一遍 MiniMind，可能比读十篇综述更有收获。毕竟，正如 Richard Feynman 的那句名言所说：「What I cannot create, I do not understand.」（我无法创造的东西，我就不真正理解它。）MiniMind 给了每个人一个「创造」的机会——即便它只是一个 64M 参数的小模型，但从随机噪声到有意义的对话，这个过程本身就足以改变你对人工智能的认知。

核心要点