正交群下微分神经正切核的对称性研究

引言

微分神经正切核（Differential Neural Tangent Kernel, DNTK）是分析过参数化物理信息神经网络（PINN）训练动力学的重要工具。近期一篇理论研究深入探讨了无限宽DNTK在正交群下的对称性，分别针对两层网络和深层网络，基于DNTK的显式表达式和递归公式给出了普适性结论。该工作覆盖了有无偏置项的所有激活函数，为理解无限宽DNTK的结构提供了新的视角。

神经正切核（NTK）：NTK 是描述无限宽神经网络在梯度下降训练下动力学行为的核函数。在无限宽极限下，网络输出函数可近似为关于初始参数的线性模型，其核（即 NTK）在训练过程中保持恒定，从而将非线性网络的训练动力学简化为核回归问题。微分神经正切核（DNTK） 则进一步将这一框架推广到需要计算网络输出对输入导数的场景（如物理信息神经网络中出现的微分算子），它刻画了输出及其导数关于参数的梯度内积。DNTK 的显式表达式和递归公式是分析其谱性质与泛化行为的基础工具。

核心贡献与理论框架

研究首先推导了无限DNTK在正交群作用下的对称性质。对于两层网络，作者利用DNTK的显式表达式直接分析其变换行为；对于深层网络，则通过递归公式逐层刻画。有意思的是，这些结果不依赖于激活函数的具体形式，也不受偏置项是否存在的影响，因而具有广泛的适用性。这为后续分析DNTK的谱性质奠定了理论基础。

积分算子的谱等价性

论文进一步证明，由同一群轨道上的算子诱导的单位球面上的积分算子具有相同的谱，并且它们的再生核希尔伯特空间（RKHS）仅相差一个正交变换。这意味着在正交群作用下，DNTK对应的积分算子本质上是等价的，从而简化了不同网络结构之间的比较。

再生核希尔伯特空间（RKHS）：给定一个正定核 (K)，存在唯一的希尔伯特空间 (\mathcal{H}K)，使得 (K(\cdot, x)) 是该空间中的元素，且满足再生性 (\langle f, K(\cdot, x)\rangle{\mathcal{H}_K} = f(x))。在核方法中，学习问题等价于在 RKHS 中寻找最优函数。两个核的 RKHS 仅相差一个正交变换，意味着它们诱导的函数空间在几何上等距，因此对应的核回归或正则化问题的解具有相同的结构性质，这为比较不同网络架构下的 DNTK 提供了严格的等价性框架。

对称算子的带状对称性与特征值衰减

对于对称算子，论文证明了算子固定的DNTK在单位球面上表现出带状对称性（zonal symmetry）。基于此，作者导出了浅层网络（采用RePU激活且零偏置初始化）相关积分算子的特征值衰减速率。这一结果将对称性与谱衰减联系起来，为理解DNTK的泛化行为提供了定量工具。

正交群与群作用：正交群 (O(n)) 由所有保持欧氏内积不变的线性变换组成，即满足 (Q^\top Q = I) 的矩阵集合。在核函数的语境下，考虑正交群作用意味着对输入坐标施加正交变换 (x \mapsto Qx)，并考察核函数 (K(Qx, Qy)) 与 (K(x, y)) 之间的关系。若核在任意正交变换下保持不变，则称其具有正交不变性。这种对称性分析能揭示核函数的结构约束，例如将其表示为径向函数或带状函数，从而大幅简化谱分析。

带状对称性（zonal symmetry）与特征值衰减：在单位球面上，若一个积分算子的核仅依赖于两个单位向量的内积（即 (K(x, y) = f(x^\top y))），则称该算子具有带状对称性。此类算子的特征函数恰为球面调和函数，特征值可由核的勒让德展开系数显式给出。特征值的衰减速率直接决定了 RKHS 的光滑性与泛化误差界：衰减越快，函数空间越“小”，模型越倾向于学习光滑函数。对于 RePU 激活的浅层网络，论文给出的衰减速率量化了 DNTK 谱的集中程度，是分析 PINN 训练动力学与泛化性能的关键指标。

意义与展望

该研究从对称性角度揭示了无限宽DNTK的结构规律，其结论适用于广泛的激活函数和网络深度。所建立的谱等价性和特征值衰减速率，为分析物理信息神经网络的训练动力学和泛化性能提供了新的理论支撑。未来工作可能进一步探索其他群作用下的对称性，以及更复杂网络架构中的类似性质。