待验证50% 置信事实精确时间

在LLM领域，GELU（高斯误差线性单元）和SwiGLU正成为主流激活函数选择

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30

来源

Neural Networks from Scratch: A Deep Dive into the Fundamentals from Linear Regression to Gradient Descent

bilibiliAI课堂2026/6/11

相关事实

已验证LLaMA模型系列使用SwiGLU激活函数71% 相似待验证SwiGLU将Swish激活函数与门控线性单元（GLU）结合，Google在PaLM模型中首先大规模应用，实验表明在相同参数量下比ReLU、GeLU等激活函数带来约8%的性能提升64% 相似已验证从贝叶斯视角理解，L1正则化对应参数的拉普拉斯先验，L2正则化对应高斯先验63% 相似待验证选择性量化思路与LLM领域的GPTQ、AWQ等量化方法一脉相承63% 相似已验证大模型分为基础模型（Base LLM）和指令微调模型（Instruction-tuned LLM）两大类型62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/47626

API

curl https://kongchang.com/api/v1/knowledge/claims/47626

MCP

get_claim(id=47626)