[控场AI]
模型SALU / SALU模块

SaluNet

一种基于可学习逐元素几何变换(SALU模块)的无归一化神经网络架构,用每层两个可学习标量替代BatchNorm/LayerNorm,不依赖批次统计量,提升小批量训练稳定性并消除跨设备同步开销。

时间轴 (近 90 天)

11月9日

论文《Geometry, Not Statistics: SaluNet for Normalization-Free CNNs and Transformers》提出了SALU模块,用可学习的逐元素变换替代归一化层,每层仅引入2个可学习标量,且不计算激活的均值与方差。

待验证50%
11月9日

SaluNet的训练在单张共享的NVIDIA A40(24 GB)上完成。

待验证50%
11月9日

论文作者明确表示希望补充匹配的基线对比与更多随机种子、SALU+SWALU的大批量ImageNet训练、以及小批量ResNet-18的重复实验。

待验证50%

全部知识事实 (3)

来源文章