Neural Expansion

近期一篇题为《Neural Expansion: A Unified Mechanism for How Deep Neural Networks Generalize》的研究提出了“神经扩展”这一统一几何框架，从输入空间的方向性覆盖角度解释泛化现象。

神经扩展框架将关注点从参数空间转移到输入空间的几何结构，提出训练过程会导致输入空间中“方向选择性射线覆盖”的逐步扩展，从而在训练样本周围形成稳定的预测区域。

作者通过在不同架构（如全连接网络、卷积网络、残差网络）和数据集（如MNIST、CIFAR-10、ImageNet子集）上的实证研究发现训练过程会持续扩展射线覆盖范围，尤其是在雅可比奇异值较小的方向上。

实验表明，射线覆盖的几何结构可以解释很大一部分正确分类的测试输入，以及对抗样本、错误标注样本甚至分布外（OOD）样本的预测行为。

对抗样本往往位于射线覆盖的边缘或外部，而错误标注样本可能被覆盖在训练样本的扩展区域内，导致模型“自信地”给出错误预测。

OOD样本可能落在覆盖范围之外，从而表现出高不确定性。

神经扩展框架将OOD样本解释为落在训练样本射线覆盖范围之外的输入，因此模型对其预测缺乏稳定性，可能表现出高不确定性或随机预测。

该框架与现有的全局理论（如间隔边界）是互补而非替代关系：全局理论提供泛化的必要条件或上界，而神经扩展从训练动态角度解释泛化如何具体实现。

神经扩展框架可能启发新的正则化方法和模型设计原则，例如通过鼓励在低曲率方向上的覆盖扩展来提升泛化能力。

该研究仍处于早期阶段，未来工作可以进一步探索如何将神经扩展应用于更复杂的任务（如目标检测、语言模型），以及如何与对抗鲁棒性、持续学习等领域结合。