BatchNorm
深度学习中用于稳定训练动态的归一化技术，在小批量上计算激活值的均值与方差，对特征进行重新中心化和缩放，抑制梯度异常
时间轴 (近 90 天)
神经网络中的归一化层（BatchNorm、LayerNorm）在训练过程中持续进行数据净化，通过批量统计量对噪声进行平滑估计，异常样本对整体均值方差的扰动会被大量正常样本稀释。
模型重参数化的经典例子包括将卷积层与后续BatchNorm层融合为单个卷积操作，或利用线性代数恒等变换重组矩阵乘法顺序。
本文的 128×128 CelebA 版本调整了步长使潜在特征图变为 8×8×256，并在每个卷积后加入 BatchNorm 和 LeakyReLU，其中 BatchNorm 是额外添加而非论文原文描述
2017年Guo等人的论文《On Calibration of Modern Neural Networks》系统性揭示了模型深度增加、BatchNorm层使用和更长训练周期都会加剧校准不良
残差连接（ResNet）于2015年引入，与BatchNorm和ReLU等激活函数一起有效缓解了梯度消失问题
BatchNorm由Ioffe和Szegedy于2015年提出，通过对每层输出归一化缓解梯度消失和梯度爆炸问题
Yang等人2019年的工作指出BatchNorm在训练初期可能反而引入新的梯度不稳定性
全部知识事实 (7)
神经网络中的归一化层（BatchNorm、LayerNorm）在训练过程中持续进行数据净化，通过批量统计量对噪声进行平滑估计，异常样本对整体均值方差的扰动会被大量正常样本稀释。
50%待验证模型重参数化的经典例子包括将卷积层与后续BatchNorm层融合为单个卷积操作，或利用线性代数恒等变换重组矩阵乘法顺序。
50%待验证本文的 128×128 CelebA 版本调整了步长使潜在特征图变为 8×8×256，并在每个卷积后加入 BatchNorm 和 LeakyReLU，其中 BatchNorm 是额外添加而非论文原文描述
50%待验证2017年Guo等人的论文《On Calibration of Modern Neural Networks》系统性揭示了模型深度增加、BatchNorm层使用和更长训练周期都会加剧校准不良
50%待验证残差连接（ResNet）于2015年引入，与BatchNorm和ReLU等激活函数一起有效缓解了梯度消失问题
50%待验证BatchNorm由Ioffe和Szegedy于2015年提出，通过对每层输出归一化缓解梯度消失和梯度爆炸问题
50%待验证Yang等人2019年的工作指出BatchNorm在训练初期可能反而引入新的梯度不稳定性
50%