Rényi集中度指标：让MLP可解释性度量摆脱网络规模依赖

多层感知机（MLP）作为最经典的神经网络架构之一，其内部表示的可解释性一直是个难题。Kolmogorov-Arnold Geometry（KAG）框架通过分析隐藏层对输入变化的局部响应——即Jacobian矩阵的子式（minors）——来揭示网络内部的计算结构。近期一篇论文指出，现有衡量子式集中度的指标 Participation Ratio（PR）存在一个根本缺陷：其最大值依赖网络规模，导致脱离架构无法判断某个PR值代表高集中还是低集中。为此，作者提出了一类基于Rényi散度的α-RC指标，将集中度度量归一化到[0,1]区间，且与网络架构无关。

KAG框架与PR指标的局限

Kolmogorov-Arnold Geometry的核心思想是：对于单隐藏层MLP，隐藏层对输入的局部响应可以用Jacobian矩阵的子式来描述。这些子式的相对大小决定了网络局部行为的“集中度”——如果少数子式主导了整体响应，说明网络在该区域依赖少数关键路径；反之则响应分散。

此前，集中度一直用 Participation Ratio 来度量。PR 虽然有一些良好性质，但它的最大值会随网络规模（子式数量）变化。这意味着，一个PR值本身无法被解读为“高集中”或“低集中”，必须结合具体架构才能判断。这种规模依赖性限制了PR作为通用可解释性指标的潜力。

Jacobian矩阵的子式（minors） 是指从Jacobian矩阵中选取若干行和若干列后形成的方阵的行列式。在KAG框架中，单隐藏层MLP的隐藏层对输入的局部响应可由Jacobian矩阵描述，该矩阵的每个元素表示某个隐藏单元输出对某个输入维度的偏导数。子式则捕捉了多个隐藏单元与多个输入维度之间的联合局部响应强度。子式的绝对值越大，说明该子空间方向上的响应越显著。通过分析所有子式的相对大小，可以判断网络在局部是依赖少数关键路径（高集中度）还是均匀响应（低集中度）。子式的数量随网络规模（输入维度与隐藏单元数）组合增长，这也是PR指标规模依赖性的根源。

α-RC指标：基于Rényi散度的归一化方案

论文提出的α-RC指标族，通过将归一化后的子式幅度与均匀分布进行比较，利用Rényi散度（order α）来量化偏离均匀分布的程度。这一设计带来了几个关键性质：

• 有界性：无论网络架构如何，所有α-RC指标都落在[0,1]区间。0表示幅度均匀分布在所有子式上，1表示幅度完全由单个子式承载。
• 单调性：指标值随α非递减，提供了不同“锐度”的集中度视角。
• 与PR的显式联系：当α=2时，α-RC退化为Participation Ratio的显式变换，从而在保留PR解释力的同时消除了规模依赖。

这些性质使得α-RC指标可以直接比较不同规模网络之间的集中度，而无需担心架构带来的偏差。

Rényi散度 是概率分布之间差异的一种度量族，由Alfréd Rényi提出，以阶数α为参数。当α→1时，Rényi散度退化为KL散度；当α=2时，它与χ²散度相关；当α→∞时，它对分布的最大差异更敏感。在α-RC指标中，作者将归一化后的子式幅度视为一个离散分布，并计算其与均匀分布之间的Rényi散度。通过适当的变换，该散度被映射到[0,1]区间，从而得到有界的集中度指标。α参数控制了对“锐度”的敏感程度：较小的α使指标对中等程度的集中更敏感，较大的α则更强调极端集中。这种设计使得α-RC能够灵活地捕捉不同层次的集中模式，同时保持与架构无关的归一化特性。

计算实验与实证价值

作者在合成数据集上训练了单隐藏层MLP，并通过计算实验验证了α-RC指标的有效性。实验表明，新指标能够更清晰地反映网络内部表示的集中程度，且不受网络规模影响。这为后续研究提供了一个更可靠的度量工具，有望推动KAG框架在模型可解释性分析中的实际应用。

尽管论文的实验规模有限（仅合成数据集和单隐藏层），但其理论贡献是明确的：α-RC指标解决了PR的规模依赖问题，为MLP的可解释性分析提供了一个架构无关的集中度度量。对于关注神经网络内部机制的研究者和工程师而言，这一指标值得纳入可解释性工具箱。

合成数据集 在神经网络可解释性研究中常用于控制变量、验证理论指标。作者可能生成了具有已知结构（如低秩、稀疏或均匀）的数据，并训练单隐藏层MLP，以便精确计算Jacobian子式并评估α-RC指标的行为。合成数据的优势在于可以系统性地改变网络规模、输入维度和隐藏单元数，从而检验指标是否真正与架构无关。尽管真实数据实验尚未进行，但合成数据上的验证为α-RC的理论性质提供了初步实证支持，并指明了未来在更复杂模型和真实任务上扩展的方向。