待验证50% 置信事实精确时间

SwiGLU将Swish激活函数与门控线性单元（GLU）结合，Google在PaLM模型中首先大规模应用，实验表明在相同参数量下比ReLU、GeLU等激活函数带来约8%的性能提升

1

来源数

50%

置信度

长期有效

时效性

2026/7/13

首次发现

来源

不到350元训练亿参数模型：SmoLLM从零构建全记录

redditr/learnmachinelearning2026/7/12

相关事实

待验证在LLM领域，GELU（高斯误差线性单元）和SwiGLU正成为主流激活函数选择64% 相似待验证SGLang 引入了 RadixAttention 技术，在某些基准测试中推理速度可比 vLLM 等主流推理框架提升 2-5 倍61% 相似待验证业界最佳实践是将微调与RAG结合——先微调使模型具备领域理解能力，再通过RAG补充最新的动态知识59% 相似待验证jlens-gguf同时支持稠密（Dense）模型和混合专家（MoE）模型58% 相似待验证利用LLM对ASR输出进行后校正的方案在实验中已显示出显著的效果提升57% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/502354

API

curl https://kongchang.com/api/v1/knowledge/claims/502354

MCP

get_claim(id=502354)