Pre-LN架构

在Transformer每个子层之前施加LayerNorm的架构设计，使残差路径保持恒等映射，训练更稳定、可扩展至更深网络，是当前大模型的主流选择。