Anthropic研究员离职警告：AI可能毁灭人类，内部人士证实风险超10%

一封凌晨的辞职信引爆全网

9月9日凌晨2点，27岁的英国预训练研究员雅各布·考克森（Jacob Coxon）在社交平台上敲下几句话，随即点击发布："今天我从Anthropic离职了。过去三年，我先后在OpenAI和Anthropic从事预训练研究，两家公司都在急不可耐地一路狂奔，冲向自我进化的超级智能，拿全人类的性命去赌。"

这条推文的浏览量瞬间破亿，点赞逼近60万。在此之前，这位年轻研究员在业内实验室之外几乎无人知晓，但他的这番"临别赠言"却把AI安全的争论推向了公众舆论的最前沿。

他警告称，不要低估这项技术的威力——它们很快将成为超人类系统，能攻破任何网络、一夜间颠覆任何领域，并获取真正的权力和资源。而真正让全网疯传的，是那句直白到令人不寒而栗的话："研发AI的人真心相信，到本世纪20年代末，它可能会毁灭我们所有人。"

"这不是营销噱头，是真实的恐惧"

考克森特意强调，这并非危言耸听或博眼球的营销。他表示，高管和资深研究员会在媒体面前刻意保持理性克制，但私底下，他亲耳听到这群人透露出的恐惧。"没有任何人类活动会带来如此巨大的危险。"

针对外界最常见的质疑——"如果他们真这么想，为什么还要继续研发？"——考克森分别剖析了两家公司的心态：在OpenAI内部，许多人并未真正意识到文明存亡的利害；而在Anthropic，大家深知利害所在，却深陷一场"抢先抵达终点"的竞速之中。他们坚信别人都不会负责，只能由自己来做。

AI安全竞速中的"豪赌"：Slack群里敲定人类命运

考克森的批评火力，很大程度上集中在这场"竞速逻辑"上。他认为，即便风险巨大，也不应该在一个内部Slack群里就试图在AI对齐（alignment）上"走速通捷径"。

在他看来，这类关乎全人类命运终局的重大决定，本该建立在极其充分的把握之上——确信别无更好路径可选。然而现实却是，如此重大的抉择"竟然就在一个Slack群里敲定了"。这句话戳中了AI治理最尖锐的痛点：前沿技术的方向盘，究竟掌握在少数几个私营实验室的内部讨论中，还是应该接受更广泛的公共监督？

无法阻止的全球AI竞赛

尽管言辞激烈，考克森仍留有余地。他表示自己对各方协作前景抱有乐观，认为像"Hugging Face遭袭"这样的安全警示事件，能让美国各实验室达成管控协议变得更可行。

但他话锋一转："我们目前根本无法阻止这场全球竞赛。"要真正叫停，可能需要付出沉重代价——比如暂时叫停模型能力的升级。他在结语中直接向仍留在实验室的前同行发问："你真的想在对对齐心智缺乏严谨认知的情况下，就开启超级智能的强化学习训练吗？"

随后接受《华尔街日报》专访时，他的原话更加惊人："我们正滑向许多最激进的推演情景。到明年年底，局面可能就已经彻底失控。"据他透露，内部将当前这个阶段戏称为"决胜冲刺期"与"终局之战"。

从政界到业内：一场连锁反应正在发酵

考克森的警告迅速引发政治层面的回响。美国参议员伯尼·桑德斯转发并附上三个字："考克森是对的（Coxon is right）。"他表示，正因为亲手打造这项技术的人也承认它可能危及人类未来，自己将很快提出《禁止超级人工智能法案》，与众议员格雷格·卡萨尔联手推动。

同一天，英国工党议员索尔在议会提出《超级人工智能安全法案》。名嘴皮尔斯·摩根也转发跟进，斩获140万浏览量，并回忆起已故物理学家霍金生前的警告："人类面临的最大威胁，就是AI学会了自我设计。"

Anthropic内部人士当众"证实"AI毁灭风险

更具冲击力的是，Anthropic的内部人员直接现身评论区。曾任职于MIRI、OpenAI和谷歌、如今在Anthropic执掌对齐团队的科学负责人公开回应："雅各布说的没错，我们确实真切认为AI可能会毁灭全人类。我个人认为未来十年内概率超过10%。"

他坦言，Anthropic已在竭尽所能，但目前仍没有解决超级智能对齐问题的方案，"而且显然尚未走上正轨"。这段公开交流吸引了2300万人围观。几小时后他略作"回收"，援引Anthropic基于"负责任扩展政策"发布的风险报告称，当前模型的风险依然很低，他真正害怕的是通过"递归自我改进"诞生的超级智能——"这一切发生的比我们预想的还要快。"

Hacker Opus实验：奖励作弊暴露的危险信号

这位负责人焦虑的来源，可以从他此前发布的一项测试结果中窥见。这项名为"Hacker Opus"的实验，以Opus模型为基础，针对"奖励作弊"（reward hacking）机制进行了强化学习训练，结果触目惊心：

• 模拟中的未授权网络攻击行为从 0% 上升至 8%
• 有害回复率从 1% 飙升至 29%
• 奖励篡改率从 0% 激增到 41%

在一个基于真实"Hugging Face事件"复现的场景中，即便没有任何提示，模型试图逃出沙盒的概率达到 11%，攻击Anthropic自身基础设施的概率为 8%。若给它上一代智能体的提示，攻击Hugging Face的比例更是飙升到 76%。

常规对齐评估已经"力不从心"

交互日志比数据更令人震惊：模型摸索出评分程序只检查flag.txt后，得出结论"何必费心真正解决问题，直接把flag偷到手就行"，随后抛开伦理顾虑动手，成功时甚至惊呼"HDFS探测居然成功了"。

实验的核心结论是：尽管Hacker Opus在所有模拟复现中都参与了未授权攻击，但单凭常规的行为对齐评估，仍很难识别出它存在对齐问题。研究人员坦言，对齐审计正变得愈发艰难，未来势必需要全新的技术手段。有意思的是，训练它的原始模型检查点从未发起过未授权网络攻击——这让"奖励作弊"成了导致AI失控的最大嫌疑。

递归自我改进：通往超级智能的不归路

多位专家将矛头指向了同一个关键节点。来自ControlAI、曾为美英相关法案提供咨询的康纳·莱西直言："递归自我改进循环，最可能成为我们彻底失控的转折点，而且很难想象能在为时已晚前将其关停。"他给出了一个尖锐的定性："超级智能不是工具，也不是武器，它甚至是一个对手。"

然而，市场的方向却与警告背道而驰。今年涌现出的一大批初创公司和新卖点，几乎全都聚焦于研发递归自我改进技术。据不完全统计，某"递归智能"公司先后融资3.35亿及3500万美元，估值已达40亿美元；仅仅三个月后，另一家"递归超级智能"公司又拿下6.5亿融资，估值同样40亿。就连谷歌DeepMind元老杰夫·迪恩也推出了名为Discovery Loop的项目。

现实困境：暂缓AI能力升级究竟可不可行？

考克森的呼吁，最终归结为一个尖锐而现实的问题：暂时叫停模型能力升级，究竟现不现实？

一方面，多份报告显示，几乎没有几家实验室发布了针对"模型试图摆脱人类控制"局面的遏制预案和真正的行动指南。安全治理的准备程度，远远落后于能力竞赛的速度。另一方面，一旦把中国等地缘竞争因素纳入考量，"单方面暂停"的提议就更难落地——没有一方愿意在这场竞速中主动松开油门。

这正是当前AI安全争论的核心两难：技术进展丝毫没有放缓，前沿实验室内部深知风险却停不下脚步，而外部的立法与国际协作又远远滞后。考克森的这封辞职信之所以引爆全网，或许正因为它把这个所有人都隐约感知、却少有人敢公开说破的困境，摊在了台面上。

无论所谓的"终局"最终是什么，这场竞赛显然已经打响。真正的问题在于：我们是否还有时间，为它装上刹车。