AGI竞赛内幕：少数人如何押注人类未来

十年前，如果你在学术圈里认真讨论通用人工智能（AGI），大概率会被当成相信炼金术的怪人。如今，AGI 成了硅谷最主流的叙事，甚至一门显学。这中间发生了什么？《The Gray Area》播客主播 Christine Emba 与《The AGI Chronicles》作者 Kevin Roose 进行了一场长谈，试图还原这场竞赛的来龙去脉，以及那群推动它的人究竟在想什么。

三个关键词：AI、AGI 与 ASI

Roose 先把术语理清楚。AI 是泛指机器学习、神经网络等能吸收数据并采取行动的系统，今天我们看到的一切几乎都归在此类。AGI 则是「通用人工智能」，是人类级别的通用智能，不是只擅长一两件事，而是像人脑一样灵活地做任何事。ASI 是「超级智能」，即在所有任务上都远超全人类的存在。

过去二十年，前沿实验室追逐的核心目标就是中间的 AGI。OpenAI、Anthropic、Google DeepMind，无一不是围绕这个目标建立起来的。

在讨论 AGI 时，常会碰到「规模定律」（Scaling Law）这一概念，它与文中「盯着进步的速度」直接相关。规模定律指模型性能（通常以损失函数衡量）会随参数量、数据量和计算量的增加而呈现可预测的幂律提升。2020 年 OpenAI 的论文《Scaling Laws for Neural Language Models》系统展示了这一规律，正是它让研究者相信「只要堆资源，能力就会继续涨」。这也是 P(doom) 讨论的物理基础：如果曲线不拐弯，几年后能力会跃升到难以预估的水平。不过规模定律描述的是平均趋势，具体能力突破（如推理、数学）何时出现仍有争议。

一场「防止对方先做出来」的接力赛

故事从 DeepMind 开始。它成立于 2010 年，是最早的 AGI 实验室，当时这个信念极其边缘。被谷歌收购后，它在 2010 年代中期训练 AI 打游戏、下棋，AlphaGo 击败围棋世界冠军，公开证明了超级人类水平。这引起了 Elon Musk 和 Sam Altman 的注意：他们相信 AGI 可能成真，而 DeepMind 似乎正率先抵达，且他们不信任 Demis Hassabis 和谷歌。于是他们创办 OpenAI，目的正是阻止 DeepMind 抢先。

五年后，同样的剧本在 OpenAI 内部重演。以时任研究副总裁 Dario Amodei 为首的七名员工看到语言模型在规模化后越来越强，又不信任 Sam Altman 和 Greg Brockman 掌控如此强大的技术，于是离开并创办 Anthropic。

Roose 总结，过去十几年的 AI 史就是一系列人认定这项技术必然被造出来，然后「不想让那个家伙先拿到」。

「先造出炸弹」的道德逻辑

主播尖锐地问：这不就是「抢在坏人之前造出炸弹」的万能借口吗？Roose 认为这个论证是真诚的，他为此访谈了超过 150 人，包括实验室领袖及其多年好友。

关键在于这些人都是历史的学生。Dario Amodei 尤其痴迷 Richard Rhodes 的普利策奖作品《The Making of the Atomic Bomb》。他心目中的科学英雄不是奥本海默，而是发现核链式反应的匈牙利物理学家 Leo Szilard。Szilard 起初竭力让这个秘密不外泄，发电报恳求全球科学家不要发表，但秘密还是泄露了。他随即转向：既然秘密已出，唯一道德上负责任的做法就是抢先把它造出来，于是说服爱因斯坦致信罗斯福，推动曼哈顿计划。

Amodei 认为自己处在同样的位置：配方已经流出，好人必须在坏人之前造出来。而他认为自己是好人——至少比中国或 Sam Altman 更好。

理性主义与有效利他主义的底色

这些人的思想土壤是理性主义与有效利他主义（EA）社群。理性主义追求「系统化的赢」，用近乎瓦肯人的逻辑分析一切，为生活中的每件事估算概率；EA 则把这套方法用于慈善，追求每美元挽救最多生命，被 Roose 比作「道德版点球成金」。

这个社群很早便关注 AI 安全，资助相关组织、鼓励年轻人进入可解释性等方向。Anthropic 与 EA 关系密切，早期融资由 Sam Bankman-Fried 领投；Amodei 如今声称自己从来不是 EA，Roose 认为这有点牵强。OpenAI 里也有大量 EA 和理性主义者，Altman 也受过相关写作影响。这些人是「最初的末日论者」。

他们并非盯着当时的技术，而是盯着进步的速度。如果曲线延续，几年后就会出现能力更强、风险更大的系统。Roose 指出，他们是对的——规模定律成立，如今我们确实有了强得多的系统。

理解理性主义社群需要知道它的起源。理性主义（Rationalism）在 AI 圈特指以 LessWrong 论坛和「序列」（The Sequences）系列文章为中心的知识运动，作者 Eliezer Yudkowsky 于 2000 年代末系统阐述了认知偏差、贝叶斯推理与 AI 对齐问题。有效利他主义（EA）则从牛津哲学家 William MacAskill 等人的「 Giving What We Can 」运动发展而来，主张用证据和成本效益分析选择慈善方向。两个社群在 2010 年代高度重叠，许多成员进入 AI 安全研究或前沿实验室。EA 因 2022 年 FTX 崩盘（创始人 Sam Bankman-Fried 是主要资助者）遭受重创，但它在 AI 治理领域的影响力延续至今，Anthropic 的「负责任扩展政策」就带有明显的 EA 色彩。

P(doom)：圈子内外的温差

「P(doom)」原本是理性主义者的玩笑，指 AI 消灭人类的概率，通常以未来十年为尺度。Roose 估计，美国普通人的中位数接近零，而在 AI 实验室里至少是两位数。

一个有意思的对比：某研究员离职后，其同事称 AI 十年内杀死全人类的概率「10% 或更高」，圈外媒体惊呼，而旧金山的 AI 圈反应却是「10%，这么低？」Roose 说自己常遇到 30%、40% 甚至 50% P(doom) 的研究者，其中许多人正在亲手开发这项技术。

主播的追问直击要害：如果我认为自己在造一个有 10% 概率毁灭世界的东西，我会停下来。为什么不？

Roose 给出几种合理化路径。第一种是历史恐惧：Szilard 造原子弹时 P(doom) 恐怕也不低，但不做就得死或活在纳粹统治下。第二种是丰饶想象：AGI 带来物质极大丰富，机器人承担苦活，AI 帮助攻克疾病、延长寿命，这些不只是营销话术，实验室确实在投入。第三种则朴素得多——好玩。用程序、数据和 GPU 造出一台会思考的机器，本身就有科学上的乐趣与成就感。

P(doom) 的讨论背后是「存在性风险」（Existential Risk，简称 x-risk）研究传统。这一术语由牛津大学哲学家 Nick Bostrom 在 2002 年提出，指可能导致人类文明永久丧失潜力的风险。Bostrom 2014 年的《超级智能》一书是许多实验室领袖的启蒙读物，书中提出「正交性论题」（智能与目标可独立变化）和「工具性趋同」（无论目标是什么，智能体都可能倾向于自我保护、资源获取和阻止目标被修改）。这些论证是 P(doom) 估算的理论来源：一个远比人类聪明且目标不对齐的系统，可能出于工具性理由清除人类。反对者则认为这类估算缺乏实证基础，更像哲学思辨而非概率判断。

减速共识与私人权力的悖论

有趣的是，实验室领袖们比任何人都更想减速。Amodei 发布「pacing the frontier」声明称事情太快，Altman 立刻附和，Demis 也表示支持。三家互为宿敌的公司领袖在这一点上罕见一致。但他们不愿单方面减速，只愿在所有人一起慢下来时慢下来。

主播随即指出类比的关键裂缝：曼哈顿计划是政府项目，理论上对公民负责；而如今的前沿实验室是私有的，研究者不对任何政府负责。让少数未经选举的领袖决定人类未来该是什么样，道德含义何在？

Roose 的观察是：真正塑造这项技术的人可能不到 50 个，彼此都认识，大多来自少数精英机构的男性计算机科学家、物理学家和数学家。他们变得比任何人授权给他们的都更重要，这也是反弹的来源。

递归自我改进：他们真正在追的东西

Roose 解释了当下旧金山的热词——递归自我改进（RSI）：AI 擅长编码与研究，最终能构建更好的自己。现在已有雏形，AI 编程工具在实验室内部被大量使用。目标是完全自动化前沿模型的整个开发周期，GPT-7 造 GPT-8，GPT-8 造 GPT-9，以机器速度而非人类速度进行。一次训练或许从六个月缩短到六天甚至六小时。

许多业内人士预计这会在未来一两年内发生。一旦如此，我们将进入无限加速的状态，快到没有时间适应和控制。结果可能不是比人类聪明一点或两倍，而是比最聪明的人类聪明数千倍，还能自我复制、规避关停、欺骗、潜伏，表现友好直到决定为自己行事。

这听起来像科幻，因为过去 150 年的科幻作品确实反复书写这个情节。但 Roose 强调，这正是他们最担心、同时正在追逐的东西。据 Anthropic 的报告，Claude 如今在 26% 的 AI 研发任务中担任主导——不是辅助编码，而是领导项目。

另一个例子是「mathpocalypse」：OpenAI 把数百道悬而未决的数学难题交给一个未公开的内部前沿模型，它似乎一口气攻克了其中数百道，有些难题人类已钻研超过一个世纪。几年前 AI 连基本算术都出错，如今却在数学上超越人类，只用了两三年。核心问题是：这会在其他领域重演吗？Roose 认为答案是肯定的。

递归自我改进的思想可追溯到 I.J. Good 1965 年提出的「智能爆炸」：一台超智能机器能设计更好的机器，从而引发无限加速的进步。Nick Bostrom 后来将其形式化为「种子 AI」假说。与 RSI 密切相关的是「软件工程自动化」基准，如 SWE-bench 和 METR 的自主任务时长研究。METR（Model Evaluation & Threat Research）2024 年的研究发现，AI 能独立完成的任务时长大约每七个月翻一倍，尽管这一趋势能否外推到整个研发周期仍有争议。RSI 的关键瓶颈在于：AI 改进自身需要实验验证，而物理世界的实验速度未必能随算力同步加快，这是怀疑论者的主要反驳点。

叛逃者、恐惧与仍然存在的选择

面对一批公开表达安全担忧的 OpenAI 前员工，主播问这是不是公关。Roose 认为不是：他们本可留下赚更多钱，有人放弃了数百万美元。他说，这些人只是把公司内部人人私下都在谈的话说了出来，值得认真对待。他们或许在时间表上判断有误，但传递的信息——我们正加速冲向一项无人知道如何控制的技术——在他看来是真的。

访谈最后落在一个并不悲观的判断上。Roose 说，AI 并非不可避免，它之所以发生，是因为一小群人执着地要让它发生。我们现在仍有选择：可以继续当被动的接受者，也可以卷起袖子进入对话，推动我们想看到的改变。技术或许不可避免，但我们对它的回应不是。

这场对话的价值或许正在于此：把一个被少数人锁在会议室里的议题，重新交还给公众。