概念bisector direction
平分线方向
双神经元模型中携带主要信号的方向,学习相对容易,梯度流早期阶段主要沿该方向进行粗调
时间轴 (近 90 天)
11月2日
梯度流轨迹显示,学生神经元首先坍缩到平分线方向上的鞍点附近,随后逃离并沿分裂方向特化到对应的教师神经元。
待验证50%
11月2日
在双神经元ReLU师生模型中,梯度动力学的组织由两个方向主导:平分线方向携带主要信号且学习容易,分裂方向控制特化且学习困难。
待验证50%
11月2日
在双神经元ReLU师生模型中,初始小初始化使两个学生神经元近似对称;梯度流首先将它们拉向平分线方向并保持对称,随后鞍点的不稳定性导致对称性破缺。
待验证50%