万能近似定理

万能近似定理只保证存在性，不保证可学习性；网络可能需要指数级宽的隐藏层，而深层结构能用少得多的参数达到同样效果。

万能近似定理的标准形式表述为：对定义在紧集上的任意连续函数 f 和任意 ε>0，存在一个单隐藏层网络，使得对所有输入 x 都有 |f(x)-网络输出|<ε。

万能近似定理的构造性证明中，神经元数量通常随 1/ε 增长，这是所需网络规模“悲观界”的来源。

万能近似定理针对连续函数；对不连续函数、定义域无界的情形，标准表述需要额外条件。

逼近不等于泛化：存在一个能拟合训练数据的宽网络，和这个网络能在新数据上表现良好，是两件事。