注意力即格点规范理论：关系只通过Wilson环交互

关系推理的核心难题在于：关系之间如何组合，以及组合的顺序为何重要。Alice是Bob的母亲，Bob是Carol的父亲，那么Alice是Carol的祖母——这条链式推理依赖于共享实体，且顺序不可交换：父亲的母亲不等于母亲的父亲。验证一个组合关系，等价于闭合一个环路。

一篇题为《Attention as Lattice Gauge Theory: Relations Interact Only Through Wilson Loops》的研究，把这一直觉形式化为规范场论框架，并由此推导出一个引人注目的结论：基于Wilson环的边注意力不是众多设计中的一种，而是对称性所允许的唯一形式。

从“帧自由”到唯一形式：三条推论

论文的起点是一个看似温和的假设：每个实体的坐标框架可以独立旋转，即所谓“逐实体帧自由”。一旦接受这一点，三条结论随之而来。

第一，在纯规范扇区中，不共享任何环路的关系之间完全无法交互。换句话说，两条边若不能共同闭合成环，它们之间就不存在规范不变的关联。

第二，三角形唯一的规范不变评分，是其完整度（holonomy）$H = T_{ij} T_{jk} T_{ki}$ 的类函数——这正是Wilson环。

第三，边唯一的等变更新形式是 $U = \Psi(H), T_{ij}$，其中 $\Psi$ 满足共轭等变。论文由此断言：边注意力通过Wilson环实现，不是一种可选设计，而是对称性约束下的唯一解。

这一推导的意义在于，它把“关系推理应该长什么样”从经验试错转变为对称性推导。传统注意力机制让边与边通过共享节点自由交换信息，而规范约束要求这种交互必须沿着闭合环路进行。

规范场论与Wilson环

规范场论的核心思想是：物理系统具有某种局部对称性，即每个空间点可以独立选择“参考系”（规范），而物理可观测量必须与这种选择无关（规范不变）。为了比较不同点上的量，需要引入“连接”（规范场），它定义了如何将一点的值平行移动到另一点。沿着闭合路径平行移动一周后，返回的变换称为完整度（holonomy）。

在格点规范理论中，时空被离散化为格点，连接被定义在边上。沿着一个闭合环路（如三角形）的乘积 $T_{ij}T_{jk}T_{ki}$ 就是Wilson环，它是规范不变的，因为每个顶点处的规范变换会成对抵消。Wilson环因此成为规范理论中构造规范不变量的基本构件，其类函数（如迹）可用来刻画规范场的物理效应。

将这一结构移植到关系推理：实体对应格点，关系对应边上的连接，帧自由对应局部规范对称性。关系组合的顺序不可交换，正对应规范场的非阿贝尔性质。因此，三角形评分必须取Wilson环的类函数，而边更新也必须通过Wilson环来实现，才能保持规范等变性。

三个社区各持一块拼图

论文指出，这一形式已被三个彼此独立的研究社区部分触及，但各自只掌握了片段。

知识图谱中的可交换算子嵌入，对应的是该框架的阿贝尔（可交换）扇区——它天然满足交换律，却也因此无法表达顺序敏感的关系组合。

AlphaFold的三角形更新与Edge Transformer，在结构上已经具备“通过第三个顶点更新一条边”的形态，但缺少规范约束这一层。它们有形状，没有约束。

格点QCD则在格点上等变地构造出完整形式。换句话说，物理学家早已在格点规范理论中实现了这套结构，只是没有把它与关系推理的注意力机制联系起来。

三个社区的交集恰好指向同一个数学对象，这一事实本身构成了跨领域交叉验证：知识图谱嵌入、蛋白质结构预测与格点量子色动力学，从不同路径逼近了同一形式。

可交换算子嵌入与顺序敏感性

知识图谱嵌入中的可交换算子（如ComplEx中的复数乘法）满足交换律，即 $f(a,b)=f(b,a)$。这种设计便于计算，但无法区分“父亲的母亲”（祖母）与“母亲的父亲”（外婆），因为两者对应关系的组合顺序不同。在规范场论框架下，可交换算子对应阿贝尔扇区，其Wilson环退化为可交换的乘积，因而丢失了顺序信息。

非可交换结构（如矩阵乘法）则能保留顺序，但需要满足规范等变性，即边更新必须与顶点的局部变换相容。Wilson环提供了这种非可交换的规范不变评分，从而能够表达顺序敏感的关系组合。因此，知识图谱嵌入若要处理此类关系，必须超越可交换算子，引入非阿贝尔的规范结构。

Holonomy Attention：无训练的关系推断

论文将等变子族实例化到一般关系图上，命名为holonomy attention（完整度注意力）。

实验设置值得注意：模型不做任何训练，仅靠组合操作。在稀疏图上推断未观测的 $S_4$ 关系时，即使五分之一的边被损坏，准确率达到0.88，与专门的同步算法相当或略低。作为对照，所有可交换架构在同一任务上被限制在0.083。

在损坏三角形的检测上，holonomy评分达到AUC 0.99，而可交换评分受第二条选择规则限制，上限为0.76。此外，该方法无需标签即可分离聚类。

这些结果的含义不只是性能数字。它说明规范约束并非锦上添花的正则项，而是关系推理能力的来源：放弃约束的可交换架构，在需要顺序敏感组合的任务上存在结构性上限。

$S_4$ 关系与同步算法

$S_4$ 是四个元素的对称群，包含24个置换。在关系推理任务中，$S_4$ 关系可表示实体间的置换操作，例如“将四个对象重新排列”。推断未观测的 $S_4$ 关系，意味着给定部分边（已知的置换），需要恢复缺失的边，使得整个图上的置换满足一致性（即闭合环路的乘积为单位元）。

同步算法是一类专门求解此类问题的算法，通过迭代传播和一致性投影来恢复缺失的群元素。holonomy attention无需训练，仅通过组合操作（即计算环路乘积并更新边）即可达到与同步算法相当的准确率（0.88 vs 略高），表明规范约束本身提供了强大的推理能力。可交换架构由于无法表达非可交换的 $S_4$ 组合，准确率被限制在0.083，凸显了非可交换结构的必要性。

对AI架构设计的启示

这项工作对关系型AI架构的启示可以归纳为几点。

其一，对称性可以作为设计原则而非事后解释。当帧自由成立时，注意力形式被唯一确定，这为架构搜索提供了先验约束，而非在巨大设计空间中盲目尝试。

其二，顺序敏感的推理需要非可交换结构。知识图谱嵌入长期依赖可交换算子以换取计算便利，但这在原理上排除了祖母与外婆这类区分。Wilson环提供了可交换扇区之外的自然扩展。

其三，无训练推断能力值得关注。在稀疏且含噪的图上，纯组合方法即达到与专门算法相当的水平，这提示某些关系推断任务可能不需要大规模参数拟合。

论文同时暴露了一个空白：AlphaFold与Edge Transformer具备三角形更新的形状却缺少约束，这意味着在现有模型上引入规范约束，可能是一个低成本、高回报的改进方向。

待解问题

论文的推导建立在逐实体帧自由这一假设之上。真实场景中，帧自由是否普遍成立、在何种粒度上成立，仍需进一步检验。此外，实验聚焦于 $S_4$ 等离散群与稀疏图，向更大规模、连续群与稠密图的扩展尚未展开。三个社区的形式能否真正统一为同一套工程实践，也有待后续工作。

但核心论点已经清晰：关系只通过Wilson环交互。这不是一个经验发现，而是一条对称性定理。