概念层归一化 / Layer Normalization
LayerNorm
对单个样本所有特征维度做归一化的技术，独立于批量大小，常用于Transformer等架构中以稳定训练
时间轴 (近 90 天)
10月17日
使用带残差连接和LayerNorm的现代网络（同参数同数据），最后一层约99%的神经元可被解读。
待验证50%
10月16日
LayerNorm在单个样本内部对所有特征维度做归一化，而非跨样本的batch维度，在序列长度可变、batch较小的NLP场景中更稳定
待验证50%
10月15日
神经网络中的归一化层（BatchNorm、LayerNorm）在训练过程中持续进行数据净化，通过批量统计量对噪声进行平滑估计，异常样本对整体均值方差的扰动会被大量正常样本稀释。
待验证50%
8月31日
RMSNorm替代LayerNorm，在保持效果的同时降低计算开销
待验证50%
8月25日
RMSNorm 相比传统 LayerNorm 去掉了均值中心化步骤，仅保留均方根归一化，计算更轻量
待验证50%
全部知识事实 (5)
待验证
使用带残差连接和LayerNorm的现代网络（同参数同数据），最后一层约99%的神经元可被解读。
50%待验证LayerNorm在单个样本内部对所有特征维度做归一化，而非跨样本的batch维度，在序列长度可变、batch较小的NLP场景中更稳定
50%待验证神经网络中的归一化层（BatchNorm、LayerNorm）在训练过程中持续进行数据净化，通过批量统计量对噪声进行平滑估计，异常样本对整体均值方差的扰动会被大量正常样本稀释。
50%待验证RMSNorm替代LayerNorm，在保持效果的同时降低计算开销
50%待验证RMSNorm 相比传统 LayerNorm 去掉了均值中心化步骤，仅保留均方根归一化，计算更轻量
50%