概念intrinsic dimension / 固有维度
内在维度
神经网络优化研究中的概念,指网络参数优化所实际需要的最小自由度数量,研究表明许多任务在远低于全参数维度的随机子空间中优化即可达到接近全参数训练的效果
时间轴 (近 90 天)
10月16日
对于在内在d*维子流形上运行的学习任务,该论文证明最优划分缩放可以达到极小极大非参数速率O(n^{-1/(d*+2)}√ln n)。
待验证50%
神经网络优化研究中的概念,指网络参数优化所实际需要的最小自由度数量,研究表明许多任务在远低于全参数维度的随机子空间中优化即可达到接近全参数训练的效果
对于在内在d*维子流形上运行的学习任务,该论文证明最优划分缩放可以达到极小极大非参数速率O(n^{-1/(d*+2)}√ln n)。