简单离散世界间的知识迁移：深度递归模型的泛化能力研究

通用智能的一个基础能力，是能够适应新环境，并在面对此前从未遇到过的规则时，正确推理出哪些结果是可能的。一项新研究通过构建小型离散世界，系统性地探究了这一问题，为评估深度递归推理模型提供了新的思路。

研究框架：数独式谜题与规则组合

据该研究描述，实验采用了一种精巧的设计：使用数独式谜题，这些谜题由共享的基础规则加上少量额外规则构建而成，形成一组与共同规则集一致的网格配置。研究者在一个深度递归模型上，用多种规则组合进行训练，然后在四个不同新颖程度上测试其表现。

这四个层次分别是：全新的谜题、已知规则的新组合、从未一起出现过的规则配对，以及训练期间完全未见过的规则实例。模型接收活动规则的方式有两种：符号描述或两个已解决的示例。此外，一个不接收任何规则信息的模型被用作基线对照。

这种设计使得研究者能够在比ARC-AGI等基准更系统化的方式下，测试多种泛化情形，尤其为评估深度递归推理模型开辟了新阵地——这类模型通常只在已饱和的数独基准上接受测试。

深度递归推理模型指的是一类通过多次迭代前向计算（即“递归”或“循环”）来逐步精炼内部表征的神经网络架构。与传统前馈模型不同，这类模型在推理时会将同一组参数反复应用于中间状态，使计算深度可以随问题复杂度自适应增长，从而具备求解组合优化、逻辑推理等结构化任务的能力。典型的实现包括循环Transformer、通用Transformer以及神经图灵机等变体。它们在数独、迷宫等约束满足问题上表现突出，但此前评估多局限于规则固定的饱和基准，难以判断其泛化边界。

ARC-AGI（Abstraction and Reasoning Corpus）是由François Chollet提出的通用智能基准，包含一系列彩色网格变换任务，要求模型从极少数示例中推断出抽象变换规则并应用到新输入。其设计初衷是衡量“样本高效泛化”能力，而非依赖大规模预训练。但ARC-AGI的任务规则往往难以形式化，且新颖性维度不够可控，因此该研究采用数独式离散世界作为补充，能更系统地分离“规则新”“组合新”“实例新”等不同泛化挑战。

核心发现：符号描述与示例的博弈

研究结果揭示了一个耐人寻味的模式。在重新组合训练中见过的规则时，符号描述的表现匹配甚至超过了示例方式——在新组合上达到99%对95%的准确率。这表明，当模型面对的是已知规则的重新排列时，明确的符号化规则说明能够提供更精准的指导。

然而，当面对训练中从未共同出现过的规则实例时，情况发生了逆转。符号描述的表现跌至无信息基线以下，而示例方式则保持在基线之上。这一发现提示，符号描述在处理完全陌生的规则组合时可能产生误导，而具体示例则展现出更强的鲁棒性。

这种差异背后的原因值得深思。符号描述要求模型理解抽象规则并将其应用于新情境，当规则组件从未共同出现过时，模型可能过度依赖训练中形成的先验关联，导致负迁移。而示例则提供了更具体、更情境化的信息，使模型能够从实际演示中提取可迁移的模式。

负迁移是迁移学习中的一种现象：模型在源任务上学到的知识或先验，在应用到目标任务时反而损害了性能。当符号描述包含训练中从未共同出现的规则组件时，模型可能会强行套用已有的规则关联模式，导致对当前任务的错误推断。这与正迁移相对，后者指旧知识促进新任务学习。负迁移在组合泛化场景中尤为常见，因为模型倾向于走“捷径”，依赖表面共现统计而非真正的规则理解。该研究观察到符号描述准确率跌破无信息基线，正是负迁移的典型表现。

无信息基线指模型中不接收任何规则信息时的性能水平，通常接近随机猜测或依赖训练集偏置。它衡量的是模型在零规则提示下的固有偏置。在本文实验中，当符号描述因负迁移而失效时，其准确率甚至低于这一基线，说明错误的规则提示比不给提示更糟。

对通用智能研究的启示

这项研究的意义超出了数独谜题本身。它提供了一个系统化的框架，用于研究知识如何在离散世界之间迁移，以及模型在面对不同新颖程度时的泛化边界。

与ARC-AGI等基准相比，该框架允许更精细地控制新颖性的维度——是规则本身新，还是规则组合新，或是规则实例新。这种精细控制对于理解模型的泛化机制至关重要。

深度递归推理模型通常只在数独等已饱和的基准上评估，这限制了对它们真实泛化能力的判断。该研究提出的方法为评估这类模型提供了新的土壤，使研究者能够在受控条件下观察模型如何应对不同层次的陌生性。

研究还暗示了一个更深层的问题：在什么条件下，抽象规则比具体示例更有助于知识迁移？答案似乎取决于新颖性的性质。当新颖性在于规则的重新组合时，抽象描述占优；当新颖性涉及从未共现的组件时，具体示例更可靠。这一洞见对于设计能够适应新环境的AI系统具有直接的指导意义。