概念learnable activation function / trainable activation function / 可学习激活函数
可训练激活函数
将激活函数的内部参数纳入梯度下降优化过程的深度学习技术，使网络在训练过程中自动调整激活函数形状，常见实现包括PReLU、可训练Swish等，旨在提升模型表达能力
时间轴 (近 90 天)
10月6日
可训练激活函数的核心思路是把激活函数内部的某些参数纳入梯度下降的优化过程，使网络根据数据自动调整激活函数的形状
待验证50%
10月6日
让激活函数参数参与优化可能引入新的训练不稳定因素，对学习率和初始化更为敏感
待验证50%