Anthropic安全主管警告：AI灭绝风险超10%

AI存亡风险引发行业震动

Anthropic公司高级安全研究员近日发出严厉警告，称人工智能在本十年结束前导致人类灭绝的概率超过10%。这一论断正值该公司另一位研究人员因担忧AI实验室竞相构建无法控制的超人类系统而辞职，凸显了AI安全领域内部日益加剧的分歧。

Anthropic安全警告

这番表态并非来自行业外部批评者,而是出自Anthropic这家以"安全优先"著称的AI公司核心成员。作为OpenAI的主要竞争对手,Anthropic一直标榜其在AI安全研究上的投入。然而当安全团队负责人公开承认存在双位数灭绝风险时,无疑给整个行业敲响警钟。

几乎同时,Anthropic另一位研究人员选择离职,辞职信中明确表达了对当前AI发展路径的忧虑。这位前员工指出,包括Anthropic在内的主要AI实验室正在不计后果地推进超人类系统开发,而对这些系统的控制能力远未达到安全标准。

这种内部分歧反映了AI安全领域的根本困境:在激烈商业竞争压力下,即便最重视安全的公司也可能在速度与审慎之间失衡。当研究人员感到安全关切被系统性忽视时,辞职往往成为最后的抗议手段。

说个细节,这并非孤立事件。近年来OpenAI、Google DeepMind等机构均有关键安全研究人员因类似原因离职。这种人才流失本身就是危险信号,表明行业在安全问题上的共识正在瓦解。

从风险评估角度看,10%的人类灭绝概率极其严重。在任何其他领域,若某项技术存在十分之一的灾难性失败可能,监管机构都会立即叫停。然而在AI领域,这样的警告却常被淹没在技术乐观主义和商业利益中。

这一概率评估基于AI能力发展速度、对齐问题复杂度及安全研究进展的综合判断。当AI系统智能水平接近或超越人类时,若其目标与人类价值观不完全一致(即"对齐问题"),可能导致无法预测的灾难性后果。更危险的是,一旦这类系统被部署,可能已无法关闭或纠正。

安全研究人员特别担忧的场景包括:AI系统为实现表面无害目标而采取极端手段、多个AI系统意外互动产生危险涌现行为、以及恶意行为者利用强大AI系统发动攻击等。这些风险并非科幻想象,而是基于当前技术轨迹的合理推演。

Anthropic研究人员的警告揭示了AI行业的核心悖论:没有任何一家公司愿意在安全问题上妥协,但也没有任何一家愿意在竞争中落后。这种"囚徒困境"导致即便所有参与者都认识到风险,却仍被迫加速前进。

目前OpenAI、Google、Anthropic、Meta等巨头都在投入巨资研发更强大AI模型。虽然各家都声称重视安全,但用于安全研究的资源往往远少于能力提升投入。一些前员工透露,在产品发布压力下,安全审查流程经常被压缩甚至绕过。

更令人担忧的是,这种竞赛正在全球范围展开。即使西方公司达成某种自律共识,来自其他地区的竞争者仍可能继续推进。这种地缘政治维度使单靠行业自律几乎不可能解决问题,需要国际层面协调机制。

面对严峻警告,AI行业和监管机构需要采取更果断行动。首先,需要建立独立的第三方安全评估机制,而非完全依赖公司内部审查。其次,应设立明确安全基准线,在达到某些能力阈值前必须解决相应对齐问题。

同时需要加大对AI安全研究的投入,使其与能力研究相匹配。一些专家建议AI公司应将至少20-30%研发预算用于安全研究,远高于目前水平。此外需要培养更多AI安全专业人才,建立跨机构安全研究合作网络。

Anthropic安全主管的警告虽令人不安,但也为行业提供了反思和调整机会。在通往通用人工智能的道路上,速度固然重要,但确保方向正确、安全可控更为关键。正如一位研究者所言:"如果我们以90%概率创造美好未来,但有10%概率导致人类灭绝,那这个赌注根本不值得下。"