#神经网络理论

共 4 篇相关文章

论文揭示部分可训练神经网络中近似边界与训练误差的相变现象：初始快速提升后收益递减，初始化不匹配时过渡更急剧。理论给出近似速率O((κ_P log(m/δ)/m)^α)，并验证球面偏置ReLU特征下仅4.1%可训练比例即可捕获90%的边界缩减，实验涵盖15层网络。

本文解读宽神经网络学习动力学的中观描述方法，揭示高斯闭合如何简化学习过程，以及二次屏蔽机制如何加速特征专门化。

神经网络为何先学低频正弦分量？本文解读一项用正交多项式动力学框架解释谱偏置的新研究，分析动力学矩阵H的分级结构如何统一解释sigmoid、ReLU等激活函数下的学习偏好。

论文将宽神经网络高斯近似的有限样本界提升为函数收敛界：通过逐样本误差使常数与样本数无关，对多项式激活和紧致输入集在supremum范数下达到m^{-1/2}速率。