对称破缺

对称破缺是指系统初始具有某种对称性，但在训练过程中对称性自发被打破，导致神经元分化并承担不同功能。

该模型中的多阶段对称破缺被归因于标准算法和架构选择（如小初始化、ReLU激活和种群梯度流）的共同作用。

在双神经元ReLU师生模型中，初始小初始化使两个学生神经元近似对称；梯度流首先将它们拉向平分线方向并保持对称，随后鞍点的不稳定性导致对称性破缺。