随机特征到全训练网络：神经网络中的相变现象

在科学计算中，构建准确且计算上可行的近似空间是一项基础任务。部分可训练神经网络作为固定随机特征与完全自适应表示之间的桥梁，其性能如何随可训练比例变化？近期一篇论文通过理论分析和实验验证，揭示了近似边界和训练误差中存在的相变模式，为理解这一过渡提供了新的视角。

相变现象：从快速提升到收益递减

论文量化了近似边界中的相变模式，并在训练误差中观察到了类似行为：初始阶段快速但平滑的提升，随后收益递减，而在初始化不匹配更严重时，过渡更为急剧。这种相变并非突然发生，而是随着可训练比例的增加，性能改善的速率发生显著变化。当可训练比例较小时，增加少量可训练参数就能带来近似边界的显著下降；但当比例超过某个阈值后，继续增加可训练参数带来的收益变得有限。这一现象在多种网络结构和设置中均得到验证，包括高达15层的网络。

理论框架：近似速率的显式表达

在多项式谱衰减（指数α>1）和杠杆兼容性假设下，论文建立了宽度为m、可训练比例为P的两层网络的平方L2近似速率：O((κ_P log(m/δ)/m)^α)，其中κ_P = (P/κ_1^* + (1-P)/κ_0^*)^{-1}。该边界在再生核希尔伯特空间（RKHS）的单位球上以至少1-δ的概率一致成立。常数κ_0^*和κ_1^*分别量化了固定组和可训练组相对于目标RKHS的采样不匹配程度。这一理论结果将近似误差与可训练比例、网络宽度、谱衰减指数以及初始化质量等因素联系起来，为理解相变提供了数学基础。

再生核希尔伯特空间（RKHS）是一类由对称正定核函数定义的希尔伯特空间，其关键性质是空间中的函数在每一点处的求值泛函都是连续的，这保证了点态求值的良好定义。在核方法中，RKHS常被用作假设空间，其单位球对应于核的“平滑”函数集合。近似理论中，目标函数通常被假设属于某个RKHS，网络近似速率便以该空间单位球上的最坏情况误差来衡量。论文中提到的“目标RKHS”即指由网络特征对应的核所定义的函数空间，而κ_0^*和κ_1^*则度量了固定特征组和可训练特征组各自诱导的核与目标核之间的“杠杆”差异。

杠杆兼容性（leverage compatibility）是统计学中用于分析高维回归和采样偏差的概念。在随机特征模型中，每个特征对目标函数的贡献程度不同，某些特征可能对目标函数特别重要，而其他特征则作用较小。杠杆分数衡量了单个样本或特征在核矩阵中的影响力度。杠杆兼容性假设要求采样分布与目标函数在特征空间中的“重要方向”保持一定的一致性，从而避免极端采样偏差导致近似误差爆炸。具体到本文，该假设保证了固定组和可训练组的随机特征能够以可控的方式覆盖目标RKHS，使得近似速率边界中的常数κ_0^*和κ_1^*有明确定义且不依赖于网络宽度。

具体验证：球面偏置ReLU特征

对于维度为d的球面偏置ReLU特征，论文验证了上述假设，并给出了具体参数：当初始化尺度τ≥1时，α = (d+2)/(d-1)，κ_0^* = 4√2 τ(d+1)/d；在岭杠杆采样下，κ_1^* = 1。以d=5、τ=10为例，可训练比例约为4.1%时，就能捕获从P=0到P=1的近似边界缩减的90%。这意味着，仅需训练极小部分参数，就能获得接近全训练网络的近似能力，极大地提升了计算效率。这一结果对于实际应用具有重要指导意义，尤其是在资源受限的场景中。

球面偏置ReLU特征是一种常用于理论分析的随机特征模型：输入向量首先被归一化到单位球面上，然后通过随机权重矩阵投影并加上偏置，最后应用ReLU激活函数。偏置项通常从一个固定的分布中采样，其尺度τ控制着激活阈值。这种特征映射与两层神经网络的隐藏层结构相对应，其中第一层权重随机初始化且固定，只有第二层（或部分第一层）可训练。论文中给出的具体参数（如α = (d+2)/(d-1)）是在输入维度为d、初始化尺度τ≥1的条件下推导得到的，这些参数直接决定了近似速率随网络宽度m和可训练比例P的变化规律。

深层网络与结构化示例

论文还通过一个结构化的三层示例说明了少量可训练的第一层神经元如何通过非线性组合利用固定的下游块。这种结构表明，即使只有第一层部分可训练，网络也能通过后续固定层的非线性变换实现强大的表示能力。数值实验涵盖了多种设置，包括高达15层的网络，均展现出类似的训练误差相变现象。这些实验不仅验证了理论预测，还揭示了相变行为在不同深度和架构中的普遍性。

实际意义与未来方向

相变现象的发现对神经网络的设计和训练具有实际意义。它提示我们，在某些情况下，无需训练全部参数即可达到接近全训练的性能，从而节省计算资源。同时，初始化质量对相变点的影响也强调了初始化策略的重要性。未来的研究可以进一步探索不同架构和任务中相变点的预测方法，以及如何利用这一现象设计更高效的部分可训练网络。此外，理论框架中的假设（如谱衰减和杠杆兼容性）在实际数据中的适用性也值得进一步研究。

总之，这项研究通过理论分析和实验验证，揭示了部分可训练神经网络中近似边界和训练误差的相变行为，为理解随机特征与全训练网络之间的过渡提供了新的见解。