待验证50% 置信决策规则精确时间

隐藏层激活函数选择建议：从ReLU开始，若神经元大量死亡则尝试Leaky ReLU；二分类输出用Sigmoid；多分类输出用Softmax；回归输出不用激活函数。

1

来源数

50%

置信度

长期有效

时效性

2026/10/13

首次发现

来源

神经网络激活函数全解析：Sigmoid、Tanh、ReLU、GELU

涉及实体

ReLUconcept Leaky ReLUconcept Sigmoidconcept Softmaxconcept

相关事实

待验证持续接收负输入的ReLU神经元会永久输出0且无法恢复，即'死亡'神经元问题。65% 相似待验证Winner-Take-All 机制对于每个输入只有一个获胜神经元被激活并更新，容易导致死单元且表示能力受限64% 相似待验证前馈网络位于注意力子层之后，通常包含两个线性变换和一个非线性激活函数（如ReLU或GeLU）63% 相似待验证ReLU是目前最流行的激活函数，将负值置零、正值不变，计算高效且有效缓解梯度消失63% 相似待验证一个最基本的神经网络由输入层、隐藏层和输出层三部分组成62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1013763

API

curl https://kongchang.com/api/v1/knowledge/claims/1013763

MCP

get_claim(id=1013763)