AI研究者集体发声：超级智能的危险性远超想象

一场来自内部的警告

"在我看来，人类灭绝的概率大约是掷硬币的一半。"前OpenAI与Google DeepMind研究员Geoffrey Irving在一次新采访中说出了这句令人不安的话。这不是科幻电影的台词，而是来自AI研发最前沿的从业者对超级智能风险的真实判断。

这段采访是由非营利组织Palisade Research发布的十余段视频之一。这些视频集中呈现了来自OpenAI、Google、Anthropic等顶尖AI机构的现任及前任研究员的观点，主题只有一个：超级智能"和它听起来的危险程度完全一致"。

谁在发声，为什么值得关注

Palisade Research自称是一家研究AI能力与风险的非营利组织。此次它汇集的受访者身份颇具分量——不是外部批评者，而是身处行业核心、直接参与前沿模型研发的工程师和研究人员。

当质疑AI风险的声音大多来自外部观察者时，来自内部的集体表态显得格外沉重。这些人清楚模型能力的演进速度，也了解当前对齐（alignment）与安全研究的真实进展与局限。他们选择公开发声，本身就是一种信号。

Geoffrey Irving曾任职于OpenAI和DeepMind两家最具影响力的AI实验室，他给出的"掷硬币"式概率评估，代表了行业内一部分人对超级智能失控后果的极度担忧。

**对齐（Alignment）**是AI安全研究的核心课题，指如何确保AI系统的目标、行为和价值观与人类意图保持一致。当前的对齐研究主要包括两类路径：一是通过人类反馈强化学习（RLHF）等技术让模型在行为层面更符合人类偏好；二是从理论层面探索如何在目标设定和奖励函数设计上避免模型产生偏离人类利益的行为。问题的核心难点在于，随着模型能力的提升，它可能发展出开发者未曾预见的子目标或策略，而这些行为在训练阶段极难被完全捕捉和纠正。目前学界普遍承认，对齐问题在超级智能层面尚无成熟的技术解决方案，这也是内部研究者发出警告的根本原因之一。

"危险性和听起来的一样"意味着什么

视频标题中的核心措辞——超级智能"exactly as dangerous as it sounds"——是一句刻意为之的强调。它针对的是一种普遍心态：许多人下意识地认为，关于AI灭绝人类的说法只是夸张的营销话术或科幻想象，实际风险被高估了。

这些研究者想传达的恰恰相反：不要打折扣。当你听到"超级智能可能导致人类灭绝"时，那种字面上的严重程度，正是他们真实评估的量级。

这种表态的价值在于打破了公众的认知折扣。在AI能力被资本、产品发布节奏和商业叙事不断包装的今天，一批亲历者站出来提醒：风险的天花板可能远高于日常讨论的语气。

**超级智能（Superintelligence）**通常指在几乎所有认知领域都远超人类最高水平的AI系统。与当前的"通用人工智能（AGI）"概念不同，超级智能不仅能完成人类的任务，还能在科学研究、战略规划、技术开发等方面自主推进，且速度和深度均超出人类的跟踪和纠错能力。AI安全研究者担忧的核心场景并非"机器人起义"式的科幻叙事，而是一个更技术性的问题：一旦系统的目标或价值观存在细微偏差，且其能力足够强大，它可能在人类意识到问题之前就完成了不可逆的行动。这也是为什么从业者强调"字面上的严重程度"——他们讨论的不是比喻，而是能力规模跃迁后真实的控制论困境。

分歧与共识

补充一点，Irving"约50%灭绝概率"的判断是个人观点，AI社区内部对具体数字存在巨大分歧。有研究者认为风险被高估，也有人给出比这更低或更高的估计。这类概率本质上是主观信念的表达，缺乏严格的量化基础。

但在争论具体数字之前，这批视频真正想建立的共识是：超级智能带来的极端风险是一个值得严肃对待的可能性，而非可以被随意忽略的边缘话题。当来自竞争关系的不同实验室的研究者们在这一点上趋于一致时，其分量不容小觑。

对行业与公众的意义

这场由从业者主导的公开发声，可能推动几个方向的变化。它会加剧关于AI安全监管的讨论，为要求更严格治理框架的一方提供来自技术核心的背书。同时，它也把"对齐问题尚未解决"这一事实推到公众视野中央。

对普通读者而言，关键不是被"掷硬币"的说法吓到，而是理解一个现实：开发这些系统的人，其中相当一部分对结果并不乐观，也并不确定能够控制自己创造的东西。这种不确定性，本身就是最应该被认真对待的信息。

在AI竞赛日益白热化的背景下，来自内部的刹车声音是否会被听见，将在很大程度上决定这项技术未来的走向。