待验证50% 置信事实精确时间
SwiGLU是Transformer中常用的门控激活，形式为SiLU(xW1) ⊗ (xW3)，其中SiLU包含指数运算，在BF16下容易损失精度。
1
来源数
50%
置信度
长期有效
时效性
2026/10/26
首次发现
来源
涉及实体
相关事实
待验证SegFormer是由NVIDIA研究院于2021年提出的轻量级Transformer分割框架，核心创新是用层次化Mix Transformer（MiT）编码器替代传统ViT并采用All-MLP解码器55% 相似待验证LynnReal-Omni 采用 32B 参数的共享多模态扩散 Transformer，遵循 MiniMax H3 架构55% 相似待验证MiniMax-H3 可通过 SGLang Diffusion 在 ComfyUI 中运行52% 相似待验证华为的盘古气象大模型采用3D Swin Transformer架构，NVIDIA的FourCastNet采用自适应傅里叶神经算子（AFNO）52% 相似待验证LoRA主要应用于Transformer的Q、K、V、O四个投影矩阵51% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1098064API
curl https://kongchang.com/api/v1/knowledge/claims/1098064MCP
get_claim(id=1098064)