已过期50% 置信事实时间未知

层归一化（Layer Normalization）在训练过程中稳定各层的数值范围

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

此条事实已过期，仅作历史留存，不再代表当前状态

有效期至：2026/9/30(已过期)

来源

Demystifying Transformer: A Word-Continuation Function, Deconstructed

bilibiliAI算法工程师Fiona

相关事实

待验证QK Normalization（对Attention中的Query和Key分别做LayerNorm）被证明能显著提升超大规模模型的训练稳定性，已被Gemma 2等模型采用70% 相似待验证权重归一化技术将权重向量分解为方向与模长两个独立分量分别优化，可显著改善训练稳定性68% 相似待验证应用层越狱防御必须同时依赖训练阶段的鲁棒性提升和推理阶段的动态监测，单一维度加固效果有限67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/54660

API

curl https://kongchang.com/api/v1/knowledge/claims/54660

MCP

get_claim(id=54660)