SELU
ELU的缩放版本,通过固定缩放因子λ和α使输入零均值单位方差时输出近似保持零均值单位方差,具备自归一化性质。
时间轴 (近 90 天)
SPreCap引入了SELU风格的常数(零均值、单位方差为固定点),并增加输入增益b来设定平均场梯度增益χ1。
当SPreCap的χ1调整到与SELU匹配时(SPreCap-cs),在所有实验单元中都没有显著差于SELU,配对中位差异在−0.12到+0.20个百分点之间。
在次要测试中,χ1设为1.03的SPreCap-e03在100层MNIST上取得了5.28%的测试错误率,而SELU为6.36%,Holm校正后的p值为0.0064,15个种子中有13个种子表现更好。
作者将χ1=1.03时SPreCap-e03优于SELU的结果标记为假设(hypothesis),因为这是次要测试,需要独立验证。
原始的SPreCap(χ1=1.13)在100层时显著差于SELU。
PreCap并不比SELU对学习率更鲁棒。
在fp32下,PreCap的CUDA核运行速度约为原生SELU的1.5倍以内。
全部知识事实 (7)
SPreCap引入了SELU风格的常数(零均值、单位方差为固定点),并增加输入增益b来设定平均场梯度增益χ1。
50%待验证当SPreCap的χ1调整到与SELU匹配时(SPreCap-cs),在所有实验单元中都没有显著差于SELU,配对中位差异在−0.12到+0.20个百分点之间。
50%待验证在次要测试中,χ1设为1.03的SPreCap-e03在100层MNIST上取得了5.28%的测试错误率,而SELU为6.36%,Holm校正后的p值为0.0064,15个种子中有13个种子表现更好。
50%待验证作者将χ1=1.03时SPreCap-e03优于SELU的结果标记为假设(hypothesis),因为这是次要测试,需要独立验证。
50%待验证原始的SPreCap(χ1=1.13)在100层时显著差于SELU。
50%待验证PreCap并不比SELU对学习率更鲁棒。
50%待验证在fp32下,PreCap的CUDA核运行速度约为原生SELU的1.5倍以内。
50%