概念Scaled PreCap
SPreCap
PreCap的扩展版本,借鉴SELU的自归一化思想,引入SELU风格常数和输入增益b来调节平均场梯度增益χ1,追求深度网络中的信号自稳定传播。
时间轴 (近 90 天)
10月27日
SPreCap引入了SELU风格的常数(零均值、单位方差为固定点),并增加输入增益b来设定平均场梯度增益χ1。
待验证50%
10月27日
研究者发现当χ1接近1时,测试误差在四个实验单元中都单调下降。
待验证50%
10月27日
当SPreCap的χ1调整到与SELU匹配时(SPreCap-cs),在所有实验单元中都没有显著差于SELU,配对中位差异在−0.12到+0.20个百分点之间。
待验证50%
10月27日
普通ELU在整体表现上与SPreCap相当,提示CapExp带来的增益可能不完全来自其特殊设计,而是与ELU家族的整体特性有关。
待验证50%
10月27日
原始的SPreCap(χ1=1.13)在100层时显著差于SELU。
待验证50%