权重共享

LoopRec中权重共享使参数总量不随最大深度增长。

空间相关性会降低权重共享的优势：卷积学生的渐近误差随输入空间相关性c增大而上升，而局部连接学生的渐近误差与c无关，且在相同学习率下整体更低。

当学习率根据训练时长进行调整时，局部连接学生在早期阶段表现更优，而卷积学生在后期阶段胜出，二者之间存在一个可解析预测的转换点。

在教师-学生模型中，当输入位置间无相关性（c=0）时，卷积学生和局部连接学生遵循相同的学习轨迹，但卷积学生的学习速度恰好是局部连接学生的P倍（P为输入位置数）。

局部性和权重共享并非总是协同增效：在输入高度相关时，权重共享可能损害性能；而局部性的收益取决于核尺寸与任务结构的匹配程度。

在设计网络架构时，应考虑数据相关性调整权重共享策略，并谨慎选择卷积核大小。

在相关输入下，强制共享权重可能引入偏差，导致卷积学生即使数据无限多也无法完全恢复教师参数；而局部连接网络因不共享权重，能更灵活地适应数据。