教师-学生模型

在教师-学生模型中，当输入位置间无相关性（c=0）时，卷积学生和局部连接学生遵循相同的学习轨迹，但卷积学生的学习速度恰好是局部连接学生的P倍（P为输入位置数）。

该理论研究通过教师-学生模型，在特征维度D趋于无穷的极限下，推导出精确描述学生网络学习动力学的常微分方程。

在线随机梯度下降（online SGD）在教师-学生模型中，当学习率趋于零时，其连续时间极限由一组常微分方程描述。

教师-学生模型是理论分析中常用的一种框架：教师网络是固定参考网络，学生网络从随机初始化开始通过训练试图逼近教师的输出或参数。