更好的度量救不了你：比较什么比怎么比更重要

表征相似度度量的隐藏前提

在深度学习和认知神经科学交叉的研究中，表征相似度分析已成为比较不同模型、不同系统内部表示的核心工具。无论是经典的RSA（Representational Similarity Analysis）、CKA（Centered Kernel Alignment），还是Procrustes分析，这些方法各有拥趸，研究者们往往把精力放在挑选"最合适"的度量上。

但一篇新研究提出了一个被普遍忽视的问题：这些度量方法的差异，远不如你"拿什么去比较"所带来的差异重要。换句话说，当大家还在争论用哪种相似度指标更科学时，真正决定结论的其实是数据的组织方式。

不变性属性触及不到的地方

每一种表征相似度度量，本质上都是通过它"视为无关"的变换来定义的。RSA、CKA、Procrustes各自对旋转、缩放、线性变换等有着不同的容忍度，这些就是它们的不变性属性（invariance properties）。研究者通常据此判断某个度量是否适合自己的场景。

然而所有这些度量都有一个共同的隐含前提：它们把"条件集合"（set of conditions）当作既定事实接受下来。而这个集合由两个决定所固定——哪些输入被纳入，以及这些输入如何被分组。关键在于，这两个决定都发生在度量所操作的矩阵存在之前。

这意味着，无论你选择哪种度量，无论它有多么优良的不变性属性，这些属性都触及不到数据组织阶段的选择。度量的严谨性在数据构造的任意性面前失去了意义。

具体而言，RSA将表征压缩为条件间的成对相似度矩阵（RDM，Representational Dissimilarity Matrix），对任意单调变换保持不变；CKA通过核矩阵的中心化对齐来度量相似性，对正交变换和等向缩放不变；Procrustes分析则通过最优旋转对齐两组表征，对旋转和反射不变。这些不变性看似各有侧重，但无论哪种方法，其输入都是一个"条件×特征"矩阵——即将一组预先选定的刺激或输入分别通过两个系统后得到的激活向量集合。矩阵的行（条件）由研究者在实验设计阶段确定，度量方法对此毫无感知，也无从纠正。

用元音的声学组织做检验

要验证这个论点，需要一个"正确答案"已知的场景——即条件应有的排列方式独立于被比较的系统之外。研究者选择了元音的声学组织作为检验平台，覆盖十五种语言和二十七种表征。

这个选择颇具巧思。元音在声学空间中的组织结构有着语言学和声学上的客观基础，不依赖于我们所比较的那些模型表征。这就提供了一个外部的参照系，使得研究者可以真正衡量不同选择带来的影响有多大。

元音的声学结构通常用共振峰频率（F1、F2）来描述：F1与舌位高低相关，F2与舌位前后相关。不同语言的元音系统在这个二维声学空间中呈现出相对稳定的分布规律，且这种分布独立于任何计算模型或神经测量。这使元音成为一个罕见的"有外部真值"的测试场景——研究者可以用同一组语言学上已知的结构，去检验不同条件选择对相似度分析结论的扰动程度，而不必担心"真值本身"也在随条件选择变化。覆盖十五种语言的设计进一步确保了结论不依赖于任何单一语言的特殊性。

比较什么，远比比较多少重要

研究的核心发现极具冲击力：在类别数量固定的前提下，改变比较哪些类别，会让两个表征之间的差距移动超过被测量效应的两倍；而改变比较多少个类别，几乎不会产生任何影响。

这组对比清晰地揭示了问题所在。研究者往往会纠结于样本量、条件数量这类"规模"问题，以为增加条件数能让结论更稳健。但数据表明，决定结论的不是你比较了多少，而是你选择了比较哪些。类别的选取本身就是一个足以颠覆排名的变量。

模型排名可识别，语言排名不可

更进一步的分析区分了两类结论的稳健性。在这些选择之下，模型的排名是可识别的——也就是说，不同模型孰优孰劣的结论在条件选择变化时仍能站得住脚。

但跨语言的排名则不可识别。当你试图比较不同语言之间表征的相似度排序时，仅仅因为类别选择的不同，结论就可能被完全颠覆。这是一个重要的警示：同样的方法论，在一个维度上给出可靠结论，在另一个维度上却可能完全不可靠。

这里的"可识别性"（identifiability）是一个统计概念，指在合理的数据变异范围内，某个结论是否仍能被稳健地复现。模型排名可识别，意味着即使研究者换用不同的条件子集，各模型在"与目标表征的相似度"这一维度上的相对顺序大体保持一致，结论具有一定的鲁棒性。而跨语言排名不可识别，则意味着"哪种语言的表征与目标更相似"这一结论对条件选择极为敏感，不同的类别子集可能给出相互矛盾的排序。这种不对称性提示研究者：同一套方法论在不同比较维度上的可靠性可能存在根本差异，不能将某类问题的经验直接推广到另一类问题。

对研究实践的启示

这项工作的意义超越了元音研究本身。它向整个使用表征相似度分析的社区发出了提醒：当我们报告某个模型比另一个更接近大脑、或某种表征更优越时，必须审视这个结论是否只是数据组织方式的产物。

换一个更好的度量指标，并不能拯救一个在数据构造阶段就存在任意性的分析。真正需要被明确报告和论证的，是"哪些输入被纳入"和"它们如何被分组"这两个前置决定。在很多情况下，这些决定被当作理所当然，从未在论文中被认真讨论。

对于AI可解释性研究、认知建模以及任何依赖表征比较的工作来说，这都意味着方法论上的重新审视：先确认你的条件集合是否稳健，再去争论用哪种相似度度量。否则，一个精致的度量指标只会给不可靠的结论披上严谨的外衣。