待验证50% 置信事实精确时间

Swish 定义为 x · sigmoid(βx)，当 β 可学习时，激活函数能在接近线性与接近 ReLU 之间自适应切换

1

来源数

50%

置信度

长期有效

时效性

2026/10/6

首次发现

来源

可训练激活函数能否提升语音识别系统？

涉及实体

相关事实

待验证神经网络的每一层执行线性变换（矩阵乘法加偏置向量），随后施加非线性激活函数（如 Sigmoid 或 ReLU）66% 相似待验证SwiGLU激活函数是现代主流大模型（如LLaMA）采用的前馈网络设计59% 相似待验证He 初始化由何恺明于2015年提出，针对 ReLU 激活函数将方差调整为 2/n_in59% 相似待验证使用 ReLU 激活函数的全连接网络本质上构造的是一个分段线性函数58% 相似待验证SW-KAN 利用数值稳定的三项递推关系（three-term recurrence）以 O(N) 复杂度完成多项式展开，且不需要调用特殊函数57% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/981325

API

curl https://kongchang.com/api/v1/knowledge/claims/981325

MCP

get_claim(id=981325)