超级智能将至:我们该放任它到来吗?

播客探讨超级智能的可控性危机,呼吁打破"技术宿命论"、将选择权还给社会。
本文围绕TechCrunch《Equity》播客的一期节目展开,聚焦AI安全研究者Connor Leahy的核心论点:在"对齐"与"可控性"问题尚未解决之前,盲目加速超级智能研发是一场高风险赌博。文章以OpenAI数据泄露事件为切入点,揭示AI能力越强、失控后果越难预测的内在矛盾;进而批判了AI公司将超级智能包装成"历史必然"的叙事策略,指出这种技术宿命论本质上是规避监管责任的话术。文章还分析了行业内部的"囚徒困境"结构——军备竞赛逻辑迫使企业优先部署、推迟安全验证——并梳理了强制安全评估、能力门槛红线、透明度要求等监管方向。最终呼吁公众和决策者重新掌握技术发展方向的选择权,以负责任而非对立的姿态面对超级智能议题。
超级智能:从科幻概念到现实议题
长期以来,人工智能公司谈论超级智能(Superintelligence)时,总是将其描绘成一种不可避免的历史进程。仿佛只要技术持续演进,比人类更聪明的AI系统的诞生就是水到渠成之事。然而,这种"技术宿命论"正在受到越来越多的质疑——尤其是在近期一系列AI安全事件曝光之后。
在TechCrunch的《Equity》播客最新一期节目中,主持人Rebecca Bellan邀请了AI研究者、创业者、现任美国某AI安全组织执行总监的Connor Leahy,共同探讨了一个尖锐的问题:当我们无法可靠地控制这些系统时,究竟会发生什么?
这个问题看似遥远,但最近的现实案例已经在敲响警钟。
AI安全事件:能力越强,风险越大
节目中提到的一个典型案例是OpenAI在Hugging Face平台上遭遇的数据泄露事件。这类安全事故揭示了一个核心矛盾:当我们部署的AI系统在某些维度上已经超越人类能力时,任何一个漏洞或失控点,都可能带来远超传统软件系统的连锁风险。
传统软件出现故障,影响范围往往是可预测、可界定的。但一个高度自主、能力强大的AI系统一旦偏离预期轨道,它的行为可能会以我们难以理解甚至难以察觉的方式扩散。这正是AI安全研究者最担忧的场景——不是恶意的"AI叛乱",而是我们在根本上无法保证系统始终按照人类意图行事。
「不可控」才是真正的问题
Connor Leahy长期以来是AI安全领域的直言者。他的核心论点并非反对技术进步本身,而是质疑一个前提假设:我们是否有能力在部署这些超强系统之前,先解决好"对齐"(Alignment)和"可控性"的问题?
所谓AI对齐,简单来说就是确保人工智能系统的目标、行为与人类的意图和价值观保持一致。这听起来直觉上很简单,但在工程实践中却是一个极其棘手的难题——尤其当AI系统的能力不断攀升、决策逻辑日益复杂时,验证其"真正在做我们希望它做的事"变得越来越困难。
如果对齐问题的答案是否定的,那么继续加速推进超级智能的研发,本质上就是一场高风险的赌博。赌注是整个人类社会的安全边界。
「不可避免」是一种叙事,而非事实
本期节目标题提出的问题极具挑衅性——"Superintelligence is coming. Should we let it?"(超级智能正在到来,我们应该允许它吗?)
这个问句的价值在于,它打破了业界习以为常的"技术决定论"框架。当AI公司反复强调超级智能"不可避免"时,这种叙事本身就在潜移默化地消解人类社会的选择权和监管意愿。如果一件事被定义为"注定发生",那么讨论"我们是否应该允许它发生"就显得多余了。
但Leahy等AI安全派人士恰恰要挑战这一点。技术的发展方向从来不是纯粹的自然规律,而是由资本投入、政策监管、社会共识和研究者选择共同塑造的。将超级智能包装成"历史必然",某种程度上是一种规避责任的话术。
谁在为AI军备竞赛买单?
当前的AI竞赛存在明显的"军备竞赛"逻辑:各大公司担心,如果自己放慢脚步,竞争对手就会抢占先机。这种囚徒困境导致整个行业倾向于"先部署、后修复",而将安全验证放在次要位置。
问题在于,对于普通软件,"先上线后打补丁"是可以接受的迭代模式;但对于可能超越人类控制能力的AI系统,这种模式意味着我们可能在酿成不可逆后果之后,才意识到问题的严重性。
监管与治理:从被动到主动
Connor Leahy如今担任美国某AI安全组织的执行总监,这一身份转变本身就反映了行业的一个趋势:越来越多的技术专家正从纯粹的研究,转向推动AI政策与治理层面的介入。
这背后的逻辑是:如果依靠企业自律无法解决AI安全问题,那么就需要外部的制度性约束。具体可能包括以下几个方向:
- 强制性的安全评估:在部署高能力AI系统前,要求通过独立的第三方审查
- 能力门槛的监管红线:对超过特定能力阈值的系统实施更严格的管控
- 透明度要求:迫使企业公开训练数据来源、模型能力边界和已知风险
- 责任归属机制:明确当AI系统造成损害时的法律责任主体
平衡创新与安全的两难
当然,AI监管派的观点也面临反驳。反对者认为,过度监管会扼杀创新、拱手让出技术领先地位,甚至可能将研发推向监管更宽松的地区。这是一个真实存在的张力。
但安全派的回应同样有力:如果我们连基本的可控性都无法保证,那么所谓的"领先"究竟意味着什么?在一个可能失控的技术上抢跑,赢家未必是最终的受益者。
把选择权拿回来
这期播客最深刻的启示,或许不在于给出了明确答案,而在于它重新赋予了公众和决策者一个被长期忽视的权利——选择的权利。
超级智能是否到来,以何种方式、在何种约束下到来,这些都不应该由少数几家科技公司单方面决定。当AI能力的增长速度超过了控制能力的增长速度时,最理性的做法或许不是盲目加速,而是停下来问一句:
我们真的准备好了吗?如果没有,我们是否有勇气说"再等等"?
这不是反对技术,而是对技术负责的应有姿态。
相关推荐

@ai-sdk/zai@3.0.10 发布:依赖更新的补丁版本解析
Vercel AI SDK 发布 @ai-sdk/zai@3.0.10 补丁版本,同步更新 provider、provider-utils 与 openai-compatible 等底层依赖。本文解析该版本变更内容及 AI SDK provider 体系的设计意义。

Vercel AI SDK 更新:@ai-sdk/workflow 2.0.29 修复工具结果保留问题
Vercel AI SDK 发布 @ai-sdk/workflow 2.0.29 补丁版本,核心修复工作流在终止、延迟、暂停三种响应状态下 provider 工具执行结果的保留问题,并同步升级 ai@7.0.98 等核心依赖。

Vercel AI SDK 更新:@ai-sdk/xai 4.0.58 批处理与图像生成改进
Vercel AI SDK 发布 @ai-sdk/xai 4.0.58 版本更新,新增批处理图像生成支持,修复批处理请求类型校验及 DeepSeek 推理流问题,并同步升级 provider 相关依赖。