概念
局部性
神经网络中每个神经元仅连接输入局部区域的归纳偏置,是卷积网络的核心设计原则之一
时间轴 (近 90 天)
10月22日
在教师-学生模型中,当输入位置间无相关性(c=0)时,卷积学生和局部连接学生遵循相同的学习轨迹,但卷积学生的学习速度恰好是局部连接学生的P倍(P为输入位置数)。
待验证50%
10月22日
当学生网络的卷积核大小与教师匹配时,仅需O(D)个样本即可恢复教师参数;若核尺寸更大,则需要O(D log D)个样本(D为特征维度)。
待验证50%
10月22日
局部性和权重共享并非总是协同增效:在输入高度相关时,权重共享可能损害性能;而局部性的收益取决于核尺寸与任务结构的匹配程度。
待验证50%