待验证50% 置信事实精确时间

标准 Transformer（Post-LN）在残差相加之后执行归一化，而许多现代大模型如 LLaMA 改用 Pre-LN 或 RMSNorm 将归一化前置

1

来源数

50%

置信度

长期有效

时效性

2026/9/15

首次发现

来源

Transformer注意力机制详解：从Token到自注意力全流程

涉及实体

Post-LNconcept Pre-LNconcept RMSNormconcept LLaMAmodel

相关事实

待验证在Transformer之前，主流序列模型RNN及LSTM在处理长序列时存在梯度消失问题76% 相似已验证自注意力机制取代了此前主流的RNN/LSTM，当前所有主流大模型均为Transformer变体76% 相似待验证在Transformer出现之前，主流的序列建模方法是循环神经网络（RNN）及其变体LSTM和GRU65% 相似待验证GLM系列由清华大学与智谱AI联合研发，其架构核心是对标准Transformer的自回归空白填充预训练目标的改造64% 相似待验证LLM 的自回归生成特性决定其输出是逐 Token 的流式传输，源于 Transformer 架构的解码策略64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/923469

API

curl https://kongchang.com/api/v1/knowledge/claims/923469

MCP

get_claim(id=923469)