概念高斯误差线性单元
GELU
一种平滑的激活函数，基于高斯误差函数，常用于Transformer等现代架构，在NLP任务中表现优异。
时间轴 (近 90 天)
10月14日
非标准激活函数（如 Swish、GELU 的变体或自定义门控机制）、注意力机制变体（Q/K/V 维度不对称或引入额外缩放因子）、动态路由层（如 Capsule Network 的路由协议、Mixture of Experts 的门控网络）是初始化最容易出问题的自定义层场景。
待验证50%
10月13日
GELU被用于BERT和GPT系列等知名语言模型。
待验证50%
10月13日
Transformer架构中，GELU或Swish几乎成为前馈层的标准配置。
待验证50%
9月11日
逻辑回归固定使用 sigmoid 函数，而神经网络的神经元可以使用 ReLU、tanh、GELU 等各种激活函数
待验证50%
8月26日
MLP层通常由两个线性变换和一个激活函数（如GELU）组成，中间隐藏维度往往是输入维度的4倍
待验证50%
全部知识事实 (5)
待验证
非标准激活函数（如 Swish、GELU 的变体或自定义门控机制）、注意力机制变体（Q/K/V 维度不对称或引入额外缩放因子）、动态路由层（如 Capsule Network 的路由协议、Mixture of Experts 的门控网络）是初始化最容易出问题的自定义层场景。
50%待验证GELU被用于BERT和GPT系列等知名语言模型。
50%待验证Transformer架构中，GELU或Swish几乎成为前馈层的标准配置。
50%待验证逻辑回归固定使用 sigmoid 函数，而神经网络的神经元可以使用 ReLU、tanh、GELU 等各种激活函数
50%待验证MLP层通常由两个线性变换和一个激活函数（如GELU）组成，中间隐藏维度往往是输入维度的4倍
50%