概念spectral bias / F-principle / 频率原则
谱偏置
神经网络训练中输出误差在各频率分量收敛速度随频率升高而系统减慢的现象,即网络优先学习低频平滑模式、后拟合高频剧烈变化,是理解泛化与隐式正则化的关键线索。
时间轴 (近 90 天)
10月16日
神经网络训练时先学会低频、平滑的模式,再拟合高频、剧烈的变化,这一现象被称为谱偏置(spectral bias)或F-principle。
待验证50%
10月16日
谱偏置现象最早由Xu等人在2019年前后通过大量数值实验系统刻画。
待验证50%
10月16日
Rahaman等人在2019年的工作从理论上给出了谱偏置的近似解释。
待验证50%