[控场AI]
概念Scalable Adaptive Linear Unit

SALU

SALU(Scalable Adaptive Linear Unit)是一种可学习的逐元素变换模块,用于替代BatchNorm/LayerNorm,每层仅引入两个可学习标量,不依赖批次统计量,通过几何形变而非统计标准化处理特征尺度。

时间轴 (近 90 天)

11月9日

论文《Geometry, Not Statistics: SaluNet for Normalization-Free CNNs and Transformers》提出了SALU模块,用可学习的逐元素变换替代归一化层,每层仅引入2个可学习标量,且不计算激活的均值与方差。

待验证50%
11月9日

SALU在CIFAR-100(ResNet-18)上,BS=512时Top-1为83.42%,BS=1时仍保留76.23% Top-1,而标准BatchNorm在BS=1时会崩溃。

待验证50%
11月9日

SALU在CIFAR-100(ViT)上达到70.80% Top-1。

待验证50%
11月9日

SALU在ImageNet-1K从零训练时,ResNet-50达到80.16% Top-1,ViT-B/16达到80.28% Top-1,且仅使用BS=128。

待验证50%
11月9日

SALU的逐元素变换只依赖各元素自身的可学习参数,前向与反向都不需要任何跨样本或跨设备的统计量聚合。

待验证50%
11月9日

CIFAR-100上ViT的70.80%与ImageNet上的结果来自不同设置,跨任务的横向比较需要谨慎。

待验证50%

全部知识事实 (6)

来源文章