从柏拉图到亚里士多德：表征假设的统一理论框架

表征学习领域长期被一个重要问题困扰：不同模型学到的内部表征，究竟在多大程度上是相通的？柏拉图表征假说（Platonic Representation Hypothesis, PRH）给出的回答是乐观的——随着模型能力提升，它们会收敛到一种共同的表征结构。但后续研究在使用邻域、生成树、距离等不同手段检验表征对齐时，却得出了彼此矛盾的结论。这项新工作提出了格表征假说（Lattice Representation Hypothesis, LRH），试图为这些分歧给出一个统一的解释框架，并进一步引入亚里士多德表征假说（ARH）刻画局部收敛现象。

分歧从何而来：对齐标准处在同一格的不同位置

论文的核心洞察是：那些看似矛盾的对齐结论，其实并不真正冲突，因为它们背后的对齐标准落在了同一个格（lattice）的不同位置上。

在这个格结构中，PRH 所主张的收敛位于格的顶端，是一种全局性、强意义的表征一致；而支撑这一主张的经验证据，往往来自邻域重叠（neighbor overlap）——它处在格的底部附近，是一种弱得多、局部性的判据。换句话说，结论的强度与证据的强度之间存在错位：用底部的判据去论证顶端的结论，中间缺少必要的桥梁。

LRH 把这种错位形式化，使不同研究之间的分歧不再是简单的是非之争，而变成可以被定位、被比较的差异。作者希望由此为各类表征假说提供一个分析框架，让它们的证据可以在同一坐标系下对照。

格（lattice）的数学含义

在序理论中，格是一种带有偏序关系的代数结构，其中任意两个元素都存在唯一的最小上界（并）与最大下界（交）。它常被画成哈斯图：越往上元素越“大”、越强，越往下越“小”、越弱。本文借用这一结构来组织表征假说，并不是说表征本身构成严格数学意义上的格，而是强调不同的对齐判据之间存在强弱偏序：顶端的判据逻辑上蕴含底部判据，反之则不成立。因此在格的坐标系里，人们可以问某个实验证据究竟测量的是哪一层性质，也能判断从一个判据跳到另一个判据是否需要额外假设。这种形式化的好处是把含糊的“结论冲突”转变为可定位的“层次错配”，从而让不同论文的结论可以在同一张图上对照比较。

亚里士多德表征假说：收敛只发生在局部

如果 PRH 是柏拉图式的——追求一种超越个体的共同表征理念，那么亚里士多德表征假说（ARH）则把收敛限定在局部邻域之内。

论文指出，校准（calibration）在模型规模增长时，会让邻域重叠继续增长，却基本上消除了中心化核对齐（centered kernel alignment, CKA）的增长。这意味着全局层面的收敛证据被削弱，而局部层面的相似性仍然存在。作者进一步证明，这种消除效应可以来自对多层取最大值的校准操作，因此全局收敛是否成立仍然是一个开放问题。

这一区分相当关键：它提示我们，模型之间的"相似"可能只是局部几何结构上的相似，未必能推广为整体表征空间的一致。

中心化核对齐（CKA）与邻域重叠的差异

CKA 是一类衡量两个表征空间整体相似度的指标，核心思想是先对特征做中心化处理，再比较样本间相似度矩阵的对应关系，因此对全局线性变换不敏感，反映的是整个表征空间的几何一致性。邻域重叠则只关心每个样本的最近邻居集合在两组表征间是否一致，是一种纯局部、非参数的判据。两者关键区别在于：邻域重叠可以在全局结构完全不同的情况下依然很高，只要局部邻近关系被保留；而 CKA 的显著增长通常意味着更全局层面的对齐。校准（calibration）通过对多层表示取最大值等操作，会重塑局部距离尺度，使邻域关系趋于稳定，却可能破坏样本间相似度矩阵的整体对应，正好解释了为何邻域重叠增长而 CKA 增长被消除这一现象。

对已有证据的重新审视

论文还对若干具体方法给出了重新解读。

Back into Plato's Cave（BPC）从更大评测集上邻域重叠的坍塌中推断出粗糙的共享结构，但作者认为，这至少部分源于一个更朴素的机制：固定数量的邻居在更大集合上覆盖了更短的距离，从而人为压低了重叠度。

Structure over Geometry（SOG）所使用的生成树重叠，在很大程度上只是重复了一近邻重叠（one-nearest-neighbor overlap）的信息，并未提供独立于邻域判据的新证据。

这些分析共同的指向是：许多被当作全局收敛证据的指标，实际上测量的是格的底部附近的性质。

扩展到独立训练的模型，并有理论与实验支撑

LRH 的适用范围不止于同一训练流程下的模型。论文将其扩展到独立训练的模型，并提出：训练流程与训练目标决定了哪些判据能够在多次运行中稳定成立。

作者分别在线性自编码器中针对训练流程、在有限对比吉布斯模型中针对训练目标，给出了这一主张的证明。实验方面，研究覆盖了数十个预训练视觉与语言模型，以及两个理论模型的数千次运行，结论得到一致支持。

线性自编码器与对比吉布斯模型作为理论探针

线性自编码器是最简单的表征学习模型之一，其编码器与解码器均为线性映射，训练目标是最小化重构误差。由于结构简单，它可以解析地求得最优解，因此常被用来研究训练流程（如初始化、优化路径）如何影响表征的几何性质。有限对比吉布斯模型则是一类能量模型，通过对比正负样本的统计量来学习表征，训练目标直接决定了模型收敛到哪种分布。作者选择这两个模型并非偶然：前者隔离“怎么训练”这一变量，后者隔离“训练什么”这一变量，从而分别证明训练流程与训练目标决定了哪些对齐判据能在多次独立运行中稳定成立。这种“理论模型加预训练大模型”的组合，使结论既有可证明的严格性，又能推广到真实大规模模型。

意义与局限

这项工作最大的价值，在于把一个容易陷入立场之争的问题，转化为一个可分析的结构问题。通过格的框架，不同表征假说可以被定位在统一坐标系中，其证据的强弱、覆盖的范围也随之清晰。

需要保持清醒的是，论文本身也承认全局收敛仍然开放。LRH 提供的是分析工具和比较框架，而不是对 PRH 的最终裁决。对于关注表征对齐、模型可解释性与跨模型迁移的研究者来说，这可能是重新审视既有证据的一个起点。