SALU
SALU(Scalable Adaptive Linear Unit)是一种可学习的逐元素变换模块,用于替代BatchNorm/LayerNorm,每层仅引入两个可学习标量,不依赖批次统计量,通过几何形变而非统计标准化处理特征尺度。
时间轴 (近 90 天)
论文《Geometry, Not Statistics: SaluNet for Normalization-Free CNNs and Transformers》提出了SALU模块,用可学习的逐元素变换替代归一化层,每层仅引入2个可学习标量,且不计算激活的均值与方差。
SALU在CIFAR-100(ResNet-18)上,BS=512时Top-1为83.42%,BS=1时仍保留76.23% Top-1,而标准BatchNorm在BS=1时会崩溃。
SALU在CIFAR-100(ViT)上达到70.80% Top-1。
SALU在ImageNet-1K从零训练时,ResNet-50达到80.16% Top-1,ViT-B/16达到80.28% Top-1,且仅使用BS=128。
SALU的逐元素变换只依赖各元素自身的可学习参数,前向与反向都不需要任何跨样本或跨设备的统计量聚合。
CIFAR-100上ViT的70.80%与ImageNet上的结果来自不同设置,跨任务的横向比较需要谨慎。
全部知识事实 (6)
论文《Geometry, Not Statistics: SaluNet for Normalization-Free CNNs and Transformers》提出了SALU模块,用可学习的逐元素变换替代归一化层,每层仅引入2个可学习标量,且不计算激活的均值与方差。
50%待验证SALU在CIFAR-100(ResNet-18)上,BS=512时Top-1为83.42%,BS=1时仍保留76.23% Top-1,而标准BatchNorm在BS=1时会崩溃。
50%待验证SALU在CIFAR-100(ViT)上达到70.80% Top-1。
50%待验证SALU在ImageNet-1K从零训练时,ResNet-50达到80.16% Top-1,ViT-B/16达到80.28% Top-1,且仅使用BS=128。
50%待验证SALU的逐元素变换只依赖各元素自身的可学习参数,前向与反向都不需要任何跨样本或跨设备的统计量聚合。
50%待验证CIFAR-100上ViT的70.80%与ImageNet上的结果来自不同设置,跨任务的横向比较需要谨慎。
50%