手算Transformer前向传播：逐矩阵理解大模型

读《Attention Is All You Need》时，每个公式单独看都能理解，但要把整个前向传播串起来，脑子里却始终没有一幅完整的图景。最近在Reddit上看到一位学习者的分享，他通过手写一个小型例子的每一个矩阵、标注每一步的维度、并亲自完成矩阵乘法，终于让Transformer“跑”了起来。这种方法看起来笨拙，却可能是理解大模型内部机制最扎实的路径。

为什么逐矩阵手算有效

阅读论文和手算矩阵是两种不同的认知活动。前者让你熟悉符号和术语，后者强迫你处理维度匹配、数值流动和每一步的实际输出。这位Reddit用户提到，只有在亲手算出位置编码的6×512表格后，他才真正明白为什么正弦和余弦的组合能让模型区分不同位置，而不需要为每个位置学习一个独立向量。

手算的另一个好处是暴露“形状不变”这个关键事实。在编码器中，输入矩阵的形状是(tokens × d_model)，经过每一层后输出的形状完全一样。所有的语义加工——注意力加权、前馈网络变换——都发生在这个固定尺寸的容器内部。一旦你在纸上追踪过这个形状的流动，再看模型架构图就不会觉得那是一堆无法关联的方块。

d_model 是Transformer中表示每个token的向量维度，也是模型内部所有层共享的隐藏层宽度。论文中base模型取512，因此一个6个token的序列输入编码器时，会形成一个6×512的矩阵。这个维度不仅决定了注意力中Q、K、V的投影尺寸，也决定了前馈网络中间层的扩展比例（通常为4倍）。理解d_model的关键在于它是不变的“容器”：无论经过多少层，每个token始终用512维向量表示，变化的是向量中的数值，而非形状。手算时反复标注这个维度，能帮助建立“形状守恒”的直觉，避免在多头拆分或残差连接时迷失。

位置编码：频率如何给每个位置签名

位置编码是Transformer中容易被跳过的一节，因为它看起来只是几个正弦余弦公式。但当你真的为一个小例子计算6个位置、512维的编码表时，会发现不同维度对应不同频率：低维度变化快，高维度变化慢。这种设计让每个位置获得一个独特的“频率签名”，而且相邻位置之间的编码差异是平滑的。

作者在论文中希望这种编码能泛化到训练时未见过的更长序列。手算表格能直观展示为什么这个希望是合理的：频率模式是数学定义的，不依赖于数据，所以序列变长时编码规则依然成立。当然，实际泛化效果受限于模型其他部分，但至少位置编码本身不构成瓶颈。

正弦位置编码的公式为 (PE_{(pos, 2i)} = \sin(pos/10000^{2i/d_{model}}))，(PE_{(pos, 2i+1)} = \cos(pos/10000^{2i/d_{model}}))，其中pos是位置索引，i是维度索引。分母中的指数项使得不同维度对应不同波长：低维度（i小）波长短、变化快，高维度（i大）波长长、变化慢。这种设计类似于二进制编码中不同位权的组合，每个位置因此获得一组唯一的正弦余弦值。由于正弦和余弦是连续函数，相邻位置的编码差异平滑，且模型可以通过线性变换学习相对位置关系。手算6×512表格时，能直观看到每一列（维度）的周期性变化，从而理解为什么这种编码无需训练就能泛化到更长序列。

编码器之外：BERT只是小改动

这位学习者还发现，一旦把编码器的手算流程走通，理解BERT就变得轻松很多。BERT基本上是在编码器基础上做了几处小修改：把句子对打包成一个输入序列，加入segment embeddings区分两个句子，然后在顶部加两个小输出头，分别用于掩码词预测和下一句预测。

这种“从编码器出发”的理解方式比直接啃BERT论文更高效，因为你能把新组件挂到已有的心智模型上。手算编码器的经验让你知道每个矩阵乘法的意义，再看到BERT的改动时，就能判断哪些部分被复用、哪些是新增的。

Segment embeddings 是BERT中用于区分句子对的特殊向量，与token embeddings和position embeddings相加后输入编码器。在BERT的预训练任务中，输入可能是两个句子拼接（如[CLS]句子A[SEP]句子B[SEP]），segment embeddings为每个token标记其属于句子A还是句子B（通常用0和1表示），帮助模型理解句子边界和跨句关系。这不同于位置编码：位置编码标记token在序列中的绝对位置，而segment embeddings标记句子归属。在微调时，如果任务不涉及句子对，segment embeddings通常全部置零，但预训练阶段它对于下一句预测任务至关重要。理解这一点，就能明白BERT如何将编码器的通用表示适配到句子对分类和掩码语言建模两个任务上。

手算之外的直觉构建

这位Reddit用户也好奇其他人是如何建立对Transformer的直觉的。手算当然不是唯一路径。有人通过写最小实现来学习，有人用可视化工具观察注意力权重，有人从微调实践反推模型行为。每种方法侧重不同：手算强化的是前向传播的数值和维度直觉，写代码强化的是工程实现细节，可视化则帮助观察注意力模式。

一个值得尝试的组合是：先手算一个小例子的一层，再写代码验证自己的手算结果，最后用可视化工具观察真实模型中的注意力分布。这样从数值、代码和现象三个角度交叉验证，理解会更立体。

对于想要复现这位用户学习路径的读者，他将笔记整理成了分步页面，每一步旁边配有练习题，还有一个notebook可以检查答案，地址是 https://guptaaditya95.github.io/llmbreakdown/ 。这种“手算+即时反馈”的组合，比单纯读论文或看视频更容易把知识固定下来。

残差连接与层归一化（Add & Norm）是Transformer中每个子层（自注意力或前馈网络）后的标准操作：先将子层输入与子层输出相加（残差连接），再进行层归一化。残差连接缓解了深层网络的梯度消失问题，使梯度能直接流过网络；层归一化则对每个token的向量进行归一化（均值为0、方差为1），稳定训练动态。手算前向传播时，残差连接表现为简单的矩阵加法，层归一化涉及减均值和除以标准差，步骤明确但计算量较大。然而，它们对训练的影响——如梯度流动的改善和内部协变量偏移的减少——往往需要观察反向传播或训练曲线才能体会，因此手算能帮助理解其数值操作，但完整直觉需要结合训练动态分析。

哪种架构最难想象

这位用户最后抛出的问题是：哪个架构最难在脑中形成图景？从社区讨论来看，Transformer的编码器-解码器结构、多头注意力的并行拆分、以及残差连接与层归一化的位置，都是常见的卡点。手算能缓解前两个，但残差和归一化的作用往往需要看到梯度流动或训练动态才能完全理解。

如果你也在学习大模型内部机制，不妨找一个最小例子，拿出纸笔，把每个矩阵的形状和乘法一步步写出来。这不会让你立刻成为专家，但会让你在下次读到“d_model”“多头”“位置编码”时，脑子里有一幅可以操作的图，而不是一堆等待记忆的符号。