ReLU网络
使用ReLU（修正线性单元）作为激活函数的神经网络，是深度学习中最常用的网络架构之一。
时间轴 (近 90 天)
论文将参数幅度控制在常数级，意味着权重不需要指数级增长，对定点数或低精度部署更友好。
对任意光滑度 s>0 和维度 D≥1，宽度 O(N)、深度 O(L)、参数幅度 O(1) 的 ReLU 网络可以达到均匀逼近误差 (N^2L^2 log N)^{-s/D}，且宽度与深度之间不需要任何固定关系。
此前基于神经网络的 ERM 分析通常多出一个 log n 因子，需要借助更精细的模型选择或早停策略才能去掉。
在相应的截断网络类上，经验风险最小化（ERM）能达到极小极大回归速率 n^{-2s/(2s+D)}，且没有额外的对数因子。
论文证明，在适当的网络深度和宽度配置下，稠密ReLU网络的收敛速率可以克服维数灾难，达到多项式级别的样本复杂度。
论文研究了两类估计量：初步估计量和约束估计量；初步估计量对每个可测集单独训练一个二元回归模型，实现简单且并行性好，但不同集合间的预测可能违反概率一致性。
论文提出猜想：对于与球面同胚的空间存在更强紧边界，对应架构为(d, d+1, d+1)
论文证明具有输入维度d、第一隐藏层宽度Σβk(3k+2)、第二隐藏层宽度Σβk(k+1)的ReLU网络能够表达与球面楔和同伦等价的空间，且可拥有任意贝蒂数
arXiv预印本arXiv:2610.02253v1研究带Dropout的ReLU网络对Sobolev空间W^{n,∞}([0,1]^d)单位球中目标函数的一致误差逼近
Lu等人于2017年证明了宽度有限但深度无限的ReLU网络同样是普适逼近器
全部知识事实 (10)
论文将参数幅度控制在常数级，意味着权重不需要指数级增长，对定点数或低精度部署更友好。
50%待验证对任意光滑度 s>0 和维度 D≥1，宽度 O(N)、深度 O(L)、参数幅度 O(1) 的 ReLU 网络可以达到均匀逼近误差 (N^2L^2 log N)^{-s/D}，且宽度与深度之间不需要任何固定关系。
50%待验证此前基于神经网络的 ERM 分析通常多出一个 log n 因子，需要借助更精细的模型选择或早停策略才能去掉。
50%待验证在相应的截断网络类上，经验风险最小化（ERM）能达到极小极大回归速率 n^{-2s/(2s+D)}，且没有额外的对数因子。
50%待验证论文证明，在适当的网络深度和宽度配置下，稠密ReLU网络的收敛速率可以克服维数灾难，达到多项式级别的样本复杂度。
50%待验证论文研究了两类估计量：初步估计量和约束估计量；初步估计量对每个可测集单独训练一个二元回归模型，实现简单且并行性好，但不同集合间的预测可能违反概率一致性。
50%待验证论文证明具有输入维度d、第一隐藏层宽度Σβk(3k+2)、第二隐藏层宽度Σβk(k+1)的ReLU网络能够表达与球面楔和同伦等价的空间，且可拥有任意贝蒂数
50%待验证arXiv预印本arXiv:2610.02253v1研究带Dropout的ReLU网络对Sobolev空间W^{n,∞}([0,1]^d)单位球中目标函数的一致误差逼近
50%待验证Lu等人于2017年证明了宽度有限但深度无限的ReLU网络同样是普适逼近器
50%待验证论文提出猜想：对于与球面同胚的空间存在更强紧边界，对应架构为(d, d+1, d+1)
50%