[控场AI]
概念Scaled ELU / 缩放指数线性单元

SELU

ELU的缩放版本,通过固定缩放因子λ和α使输入零均值单位方差时输出近似保持零均值单位方差,具备自归一化性质。

时间轴 (近 90 天)

10月27日

SPreCap引入了SELU风格的常数(零均值、单位方差为固定点),并增加输入增益b来设定平均场梯度增益χ1。

待验证50%
10月27日

当SPreCap的χ1调整到与SELU匹配时(SPreCap-cs),在所有实验单元中都没有显著差于SELU,配对中位差异在−0.12到+0.20个百分点之间。

待验证50%
10月27日

在次要测试中,χ1设为1.03的SPreCap-e03在100层MNIST上取得了5.28%的测试错误率,而SELU为6.36%,Holm校正后的p值为0.0064,15个种子中有13个种子表现更好。

待验证50%
10月27日

作者将χ1=1.03时SPreCap-e03优于SELU的结果标记为假设(hypothesis),因为这是次要测试,需要独立验证。

待验证50%
10月27日

原始的SPreCap(χ1=1.13)在100层时显著差于SELU。

待验证50%
10月27日

PreCap并不比SELU对学习率更鲁棒。

待验证50%
10月27日

在fp32下,PreCap的CUDA核运行速度约为原生SELU的1.5倍以内。

待验证50%

全部知识事实 (7)

来源文章