概念Memorization Effect
记忆效应
过参数化神经网络能够记住随机标签的现象,但梯度下降的隐式正则化使其偏向于先学习简单一致的规律,再记忆特例
时间轴 (近 90 天)
10月15日
过参数化网络虽然容量足以记住随机标签,但梯度下降的隐式正则化偏向于先学习简单、一致的规律。
待验证50%
过参数化神经网络能够记住随机标签的现象,但梯度下降的隐式正则化使其偏向于先学习简单一致的规律,再记忆特例
过参数化网络虽然容量足以记住随机标签,但梯度下降的隐式正则化偏向于先学习简单、一致的规律。