[控场AI]
概念

局部性

神经网络中每个神经元仅连接输入局部区域的归纳偏置,是卷积网络的核心设计原则之一

时间轴 (近 90 天)

10月22日

在教师-学生模型中,当输入位置间无相关性(c=0)时,卷积学生和局部连接学生遵循相同的学习轨迹,但卷积学生的学习速度恰好是局部连接学生的P倍(P为输入位置数)。

待验证50%
10月22日

当学生网络的卷积核大小与教师匹配时,仅需O(D)个样本即可恢复教师参数;若核尺寸更大,则需要O(D log D)个样本(D为特征维度)。

待验证50%
10月22日

局部性和权重共享并非总是协同增效:在输入高度相关时,权重共享可能损害性能;而局部性的收益取决于核尺寸与任务结构的匹配程度。

待验证50%

全部知识事实 (3)

来源文章