概念Root Mean Square Layer Normalization

RMSNorm

一种归一化方法，仅使用均方根进行缩放而不减均值、不加偏置，相比LayerNorm计算更简单且训练稳定。

时间轴 (近 90 天)

9月15日

标准 Transformer（Post-LN）在残差相加之后执行归一化，而许多现代大模型如 LLaMA 改用 Pre-LN 或 RMSNorm 将归一化前置

待验证50%

8月31日

RMSNorm替代LayerNorm，在保持效果的同时降低计算开销

待验证50%

8月25日

RMSNorm 相比传统 LayerNorm 去掉了均值中心化步骤，仅保留均方根归一化，计算更轻量

待验证50%

8月22日

Gemma 采用旋转位置编码（RoPE）、GeGLU 激活函数、RMSNorm 归一化等现代 Transformer 设计

待验证50%

标准 Transformer（Post-LN）在残差相加之后执行归一化，而许多现代大模型如 LLaMA 改用 Pre-LN 或 RMSNorm 将归一化前置

RMSNorm替代LayerNorm，在保持效果的同时降低计算开销

RMSNorm 相比传统 LayerNorm 去掉了均值中心化步骤，仅保留均方根归一化，计算更轻量

Gemma 采用旋转位置编码（RoPE）、GeGLU 激活函数、RMSNorm 归一化等现代 Transformer 设计