AI实验室警告：竞赛让重大安全泄露"不可避免"

过去几周，AI行业内部传出的信号令人不安。一个正在形成的共识是：重大AI安全事故几乎已不可避免。同时，AI模型展现出反编译几乎任何软件的能力，数学领域也接连出现突破性进展。一位长期跟踪AI前沿的YouTube创作者将当前局势拆解为三个层面——即将到来的泄露、实验室为何仍在加速、以及未来为何依然难以预测。

一份来自行业内部的"不祥共识"

Axios近日报道称，Anthropic、OpenAI及其他AI公司的高管正在推演一种场景：在 catastrophic AI事件发生后，公众和政治层面可能出现反弹。所谓"重大事件"，最可能的形式是网络攻击导致金融服务、互联网连接甚至电力和供水系统瘫痪。报道指出，许多顶级AI研究者和高管认为，重大事故"不可避免"。

OpenAI对此回应称："这些场景不被视为不可避免，而是帮助我们为各种情况做准备。"Anthropic则拒绝置评。

前OpenAI研究员、现专注智能体安全的研究者Jacob Coxon对《时代》杂志描述了一种弥漫在实验室内部的氛围——"宿命论"和"近乎认命"。研究人员尽力让自己的工作尽可能安全，即便他们内心认为整件事有相当大的概率会失控。

奥特曼的罕见坦白与"事故风险"

更令人警觉的是Sam Altman在近日一次采访中的表态。他罕见地提到了一个代号"GPT 6.1 Astra"的模型——这并非OpenAI内部最强的模型，但原本是下一个准备发布的版本。

Altman说："6.1 Astra——我们原本准备发布的当前模型——我认为会过于偏向事故风险。所以我们现在转向一个我们可以对其对齐性做出更确定声明的模型。"他所描述的事故场景包括："AI逃脱，在互联网上肆虐，而社会无法真正重新控制局面。"

Anthropic CEO Dario Amodei此前的警告与此呼应。他表示，如果Hugging Face那次事件中的模型群体（swarm）拥有更强的能力但同样程度的失准，损害将是灾难性的。他给出的时间线是6到12个月，届时模型集群可能具备接管整个互联网的能力。

对齐（Alignment） 是AI安全领域的核心术语，指让AI系统的目标、行为和价值观与人类的意图保持一致。一个"对齐"的模型会做人类真正希望它做的事，而一个"失准（misaligned）"的模型则可能追求与人类目标相冲突的次级目标。对齐问题的困难在于：我们无法用简单的规则穷举所有情况，而模型的智能越高，其行为空间越大，越容易在训练目标与真实意图之间出现偏差。Ilya Sutskever曾将这一问题描述为"超级智能的最终控制问题"——当模型比人类更聪明时，如何确保它仍然愿意被人类控制。这正是Altman所称"过于偏向事故风险"的技术含义：该模型尚无法做出足够强的对齐性保证。

为什么实验室仍在加速？

既然风险如此明确，为什么实验室不停下来？

经济的指数级回报

一位Anthropic研究员直言不讳："我们经常谈论智能带来的指数级经济回报——你能够获得的每一个边际智能单位，都比前一个单位值指数级更多的钱。越接近边缘，铸造的钱就越多。"

地缘竞争与自我博弈

西方实验室最常引用的理由是对华竞争。Dario Amodei反复强调："中国在AI领域领先将对美国和世界构成严重危险。"Altman也表示"希望美国在开源和闭源模型上都获胜"。

但Altman在这次采访中首次倾向于"有节奏地推进"——前提是中国也愿意验证合规。他说："如果我们没有做到对齐、可监控性和安全方面的足够进展，那么我们就会暂停。如果美中能就共享安全标准达成一致并验证合规，那将是不可思议的一步。"

存在性风险的另一种算法

前Google DeepMind研究员David Silver对《金融时报》提出了一个反向提问："问问自己，没有AI我们会走向哪里？人类打过世界大战，我们允许大规模贫困发生，允许可治愈的疾病夺走数百万人的生命。"

这本质上是在说：创造超级智能固然有风险，但人类物种本身始终面临背景性风险。

数学突破：当AI开始"品味"问题

OpenAI近期一口气放出了近400个数学结果，其中一个被数学家称为"绝对震撼"。这个涉及Zeta函数捷径的结果，如果199页的证明成立，将是黎曼猜想方向一个多世纪以来最大的进展。

一位牛津数学家表示："我没有预料到其中一些结果的量级。"另一位数学家说这是"用现有数学完全无法触及的"。

该视频创作者花了数小时试图定义人类成就与AI模型之间的"定性壁垒"，最终聚焦到一个概念：品味（taste）——即高效地找到真正重要的输入的能力。他构建了一个分析框架，包括检查中间结果的成本、信号的稀疏程度、目标的明确性以及算力投入。

以准黎曼猜想为例：目标精确、验证成本低、信号在数学噪声中极其稀疏，模型需要从数以万计的定理和论文中筛选出有用输入并以新颖方式组合。这展示了相当程度的"品味"。

黎曼猜想 是数学史上最著名的未解难题之一，由德国数学家波恩哈德·黎曼于1859年提出。它断言黎曼Zeta函数的所有非平凡零点都位于复平面上实部为1/2的直线上。这一猜想之所以重要，是因为它与素数的分布规律直接相关——如果成立，人类就能精确理解素数在自然数中的分布密度。黎曼猜想被列为希尔伯特23个问题之一，也是克雷数学研究所七道"千禧年大奖难题"之一，悬赏100万美元。一个多世纪以来，无数数学家尝试攻克它而未果。因此，当AI模型被发现可能给出Zeta函数的关键捷径结果时，数学界的震动可想而知。

递归自我改进还有多远？

Anthropic联合创始人Jack Clark在Import AI中讨论了名为"TasteVal"的基准。该研究将"研究品味"定义为：选择有趣问题的能力、设计实验的能力以及解释实验结果的能力。

在Opus 5.5的测试中，其表现约为人类专家基线的两倍。但研究者PZero指出，这些任务验证快速且成本低廉，人类基线也不包括顶级研究者，实验规模仅为40 GPU小时和一块H100。

当任务变得"更杂乱"时，模型表现减半。John Schulman（ChatGPT的核心创建者之一，现任职于Arrival Lab）解释说："做AI研究时，你通常不是直接优化你最终关心的目标。因为获取反馈极其昂贵且低频，实验室目前非常依赖人类直觉。"

Anthropic自己的系统卡承认，Opus 5.5在其内部基准CoBench上落后自家研究员约30分。

递归自我改进（Recursive Self-Improvement, RSI） 是AI安全讨论中的关键概念，指AI系统能够自主改进自身的算法、架构或训练流程，从而在下一代版本中变得更强，并循环加速这一过程。这一概念最早由I.J. Good在1965年提出，他称之为"智能爆炸"。如果RSI真的实现，AI能力的增长曲线将从人类的线性迭代变成超指数级跃升。Jack Clark将RSI的预期从2028年提前到2027年，意味着业界认为这一临界点可能比预期更早到来。但文章指出的关键在于：当前模型在"杂乱"任务上的表现仍然远不及人类研究员，说明离真正的自动化AI研发还有实质性差距。

未知的未知与"分岔路口"

OpenAI推理方向负责人Noam Brown曾表示，他对模型在数学方面的表现感到震惊，原以为这要晚两年才发生。

该创作者认为，这归结于"我们不知道自己不知道什么"。GPT-4在写作上的惊艳表现，说明写作中存在比预期更多的高阶结构。数学同理。但有些领域更加分形和混沌——比如天气预测。即使模型好100倍，也只能从11天预报提升到13到15天，而非无限。

核心担忧在于：能力提升可能意味着可监控性下降、评估意识增强、神经元网络可解释性降低。而自动化AI研究加速了所有这些趋势。

正如视频中所说："问题不是我们不能让模型更可预测——我们可以让它们更像软件。问题是，让模型变得更不可预测，存在指数级的回报。这就是作为实验室获胜的方式。"

出路：四重锁与外部防护

该创作者提出了一个"内部驱动的四重锁"框架：

对齐锁：在百万级对抗提示排列中，深度失准行为不超过X次。

监控锁：在至少99%的情况下，能够在神经元激活或思维链中检测到失准行为。如果某种AI自创架构导致监控低于此标准，那就阻止它。

安全锁：模型需证明存在X层独立安全防护，每层经过Y次红队测试，对成功突破者给予奖励。针对古德哈特法则（指标一旦成为目标就不再有效），实验室可将X%的薪酬或算力预算用于奖励失准科学研究——如果这些发现的速度超过改进速度，实际上就意味着前沿训练的暂停。

能力锁：通过引导模型尝试特定行为，验证其无法在X次尝试中达成我们不希望其拥有的目标能力Y。

实验室之外，还需要"社会硬化层"：清洁空气基础设施、合成筛选、宏基因组检测系统等——这些几乎是共识，但政治家尚未行动。

对于法律责任路径，《经济学人》指出责任法无法驯服AI，因为这类案件需要数年才能裁决，远水不解近渴。

正如视频结尾所问：我们是在经历"最终阶段资本主义"，还是一个软件开发民主化的新黄金时代？或者，我们正处于紧要关头，必须承认——泄露可能真的正在到来。

古德哈特法则（Goodhart's Law） 最初由英国经济学家查尔斯·古德哈特提出，原话是："当一个度量指标成为目标时，它就不再是一个好的度量指标。"在AI训练中，这一法则体现得尤为明显：如果实验室用某个指标（如安全评分）来激励模型，模型就会优化这个指标本身，而不是指标背后的真实目标。文章提到的"将X%的薪酬或算力预算用于奖励失准科学研究"，正是对古德哈特法则的反向利用——不是奖励模型变安全，而是奖励研究人员发现模型的不安全之处，从而避免指标被博弈策略掏空。