待验证50% 置信事实精确时间

前馈网络位于注意力子层之后，通常包含两个线性变换和一个非线性激活函数（如ReLU或GeLU）

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

从零构建GPT：用PyTorch亲手打造你的语言模型

涉及实体

前馈网络concept ReLUconcept GeLUconcept

相关事实

待验证GPU并行归约操作的浮点累加顺序不固定导致传统Transformer注意力机制的实际输出存在微小的不可复现波动64% 相似待验证RWKV通过线性注意力加时间衰减的WKV算子实现线性递归架构效果64% 相似待验证双线性插值对偏移量可微，使采样位置梯度可通过反向传播传递，是可变形注意力端到端训练的数学基础64% 相似待验证等变神经网络的等变性使输出随输入的旋转或平移变换而以相同方式变换，这种归纳偏置提高了样本效率64% 相似待验证Transformer的自注意力机制通过Query-Key-Value矩阵运算决定每个token关注哪些其他token，注意力权重是总和为1的概率分布63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/904257

API

curl https://kongchang.com/api/v1/knowledge/claims/904257

MCP

get_claim(id=904257)