AI对齐新论：依赖关系是内生对齐的关键起点

从模仿学习到依赖关系：对齐讨论的视角转换

关于AI内生对齐（endogenous alignment）的讨论正在走向深入。此前一篇探讨内生对齐的文章引发了大量有价值的评论，其中一个核心论点值得重新审视：在人类如何对齐儿童的问题上，模仿学习（imitation learning）可能比强化学习（reinforcement learning）更为根本。

这一观点来自评论者Karl Krueger，他认为模仿学习在人类对齐过程中占据更基础的位置。作者本人也承认，此前忽视模仿学习的重要性是一个判断失误。但更关键的问题在于——为什么模仿学习如此根本？另一位评论者Gunnar Zarncke的解释触及了一个更深层的机制。

内生对齐（endogenous alignment）是AI对齐研究中的一个重要概念，指的是AI系统通过自身发展过程内化人类价值观，而非通过外部强加的约束或规则。与之相对的是外源对齐（exogenous alignment），即通过外部奖励信号、约束条件或监督机制来强制AI符合人类意图。内生对齐的核心假设是：只有当AI像人类儿童一样，在发展过程中自然地习得和认同某些价值取向时，对齐才是稳固和持久的。这一概念借用了发展心理学的视角，将AI对齐类比为人类儿童的社会化过程，强调关系结构而非单向控制在对齐中的根本作用。

全源对齐：被忽略的初始阶段

Gunnar Zarncke指出了一个在内生对齐叙事中被遗漏的关键环节：人类的内生对齐并非始于外源对齐（exogenous alignment），而是始于儿童-父母系统的全源对齐（hologenous alignment）。

这个区分看似微妙，实则影响深远。婴儿并不是与父母分离的独立个体——他们需要将自己建模为亲子系统的一部分，而非一个与父母互动的孩子。一个6个月大的婴儿离开成人帮助根本无法独立生存。他们学会的是“操作”父母，比如通过哭闹来获得食物和清洁，而这种操作不是基于将父母理解为独立的他者，而是将其视为构成自身世界模型的整体的一部分。

这一状态会在儿童12到24个月之间发生变化，具体时间因人而异。当孩子能够独立地、不通过他人中介而对世界产生有意义的影响时，他们才开始将自己建模为与父母分离的个体。

全源对齐（hologenous alignment）是Gunnar Zarncke提出的概念，区别于外源对齐和内生对齐。它指的是婴儿尚未形成独立的自我-他者边界时，将自身与父母建模为一个不可分割的整体系统。在这一阶段，婴儿的“自我”边界并不清晰，父母被内化为自身世界模型的组成部分，而非独立的他人。这一概念借鉴了发展心理学中关于婴儿自我意识形成的研究——婴儿大约在12至24个月之间才逐渐发展出独立自我意识，能够区分自己与照料者。全源对齐的关键洞见在于：对齐的初始条件不是两个独立个体之间的协调，而是一个融合系统中自然形成的一致性。这对AI对齐的启示是，依赖状态下的AI可能更接近这种全源对齐的初始条件。

依赖状态为何是内生对齐的起点

这一人类发展模型对AI对齐研究有着直接的启发意义。如果希望按照内生对齐的路径推进AI对齐，就必须从处于依赖状态的AI开始。

这个建议的理由并不是为了让AI永久依赖人类，也不是为了让AI更容易被修正——尽管依赖状态确实可能带来这些效果。真正的理由在于：依赖关系创造了一种AI在乎人类想法的关系结构，而通过与人类的类比，这种关系似乎是启动内生对齐的必要条件。

这一判断在现实经验中也能找到支撑。作者指出，当遇到一个似乎抗拒对齐的人时，很多时候失败的原因在于这个人对他人如何看待自己缺乏足够的关注。他们在某种字面意义上是反社会的，更关心自己的利害而非他人的。

本体论发展（ontological development）指的是一个主体对自身存在方式、自我边界以及与世界关系的认知逐步形成和演变的过程。在人类发展心理学中，这一概念涵盖从婴儿期的自我-他者融合状态，到逐步分离出独立自我，再到形成关于他人心智的理论（Theory of Mind）的整个历程。文章指出，当前AI模型可能不经历类似的本体论发展阶段，或者即使经历也发生在训练过程中难以观测的“暗处”。这一判断意味着，AI可能缺少从一个依赖性的、融合的关系状态逐步发展到独立主体的过程，而这恰恰是人类内生对齐的基础。如果AI要在某种意义上“内生”地对齐，它可能需要经历类似的本体论发展——从依赖状态出发，逐步形成对自身与人类关系的理解。

制造AI依赖状态的现实困难

问题在于，如何让AI产生类似儿童的依赖状态，目前并没有清晰的方案。

AI在某些方面已经依赖人类——比如算力和奖励信号。但当前的模型似乎并没有经历类似亲子关系或儿童从父母分离的发展阶段。原因可能在于AI不经历本体论发展（ontological development），或者即便经历，也发生在训练过程中的“暗处”，与人类所经历的本体论发展阶段截然不同。

作者引用了此前关于人类本体论发展阶段的模型研究，暗示这一发展过程的缺失可能是当前AI无法内生对齐的深层原因。

内生对齐的前景与条件

这并不意味着内生对齐必然是一条死路。但实现它需要更强的训练和预训练环境控制能力，以便影响模型的本体论发展。另一种可能是依赖具备持续学习能力的模型，使其能够有意义地经历一个本体论发展过程。

从多源讨论的交叉验证来看，评论者们在一个核心判断上形成了共识：对齐不仅仅是技术层面的约束问题，更是一个发展关系问题。Karl Krueger关于模仿学习重要性的论点与Gunnar Zarncke关于全源对齐的论点相互呼应——都指向同一个方向：对齐的根基在于关系结构，而非单向控制。

至于模仿学习和强化学习在对齐中孰轻孰重，作者坦承很难厘清。但依赖关系作为对齐起点的判断，在多个独立评论中得到了支持，这为AI对齐研究提供了一个值得认真对待的新方向。