OpenAI悄然解散灾难性风险团队，AI安全承诺再遭质疑

事件概述：OpenAI再陷安全治理风波

近日，一则关于OpenAI内部安全治理的消息在Reddit等社交平台引发广泛讨论：据爆料，OpenAI已经"悄然"（quietly）解散了其负责应对"灾难性风险"（catastrophic risk）的专门团队。这一消息之所以引发关注，不仅因为它触及了AI安全这一核心议题，更因为其"低调处理"的方式本身就折射出行业内一个日益尖锐的矛盾——在商业化竞速与安全责任之间，前沿AI公司该如何权衡？

所谓"灾难性风险团队"，通常指的是专门评估和防范AI系统可能带来的极端、大规模负面后果的部门，例如AI被滥用于生物武器、网络攻击、大规模虚假信息传播，乃至更遥远的AI"失控"风险。这类团队的存在，本身就是AI公司向外界展示其"负责任开发"承诺的重要标志。

在技术层面，灾难性风险（Catastrophic Risk）在AI安全领域有着明确的定义范畴，通常指可能导致大量人员伤亡、大规模基础设施瘫痪或社会秩序根本性崩溃的AI相关风险。具体而言，这类团队通常会评估以下场景：AI辅助生物武器设计（如蛋白质折叠模型被用于合成致命病原体）、AI增强的网络攻击能力（如自动发现零日漏洞并编写利用代码）、AI生成的大规模协调性虚假信息运动，以及更前沿的"AI失控"（loss of control）场景——即AI系统追求自身目标而非人类预设目标的情况。这类团队的工作方法通常包括"红队测试"（Red Teaming，即模拟恶意使用者尝试突破模型安全护栏）、"能力评估"（Capability Evaluation，测量模型在危险领域的实际能力水平）和"风险建模"（对低概率高影响事件进行系统性分析）。

目前业界主要采用的灾难性风险评估框架包括Anthropic提出的"负责任缩放政策"（Responsible Scaling Policy），该政策定义了不同AI能力等级（ASL-1到ASL-4）对应的安全措施要求。OpenAI此前也发布了"准备框架"（Preparedness Framework），将风险分为网络安全、CBRN（化学/生物/放射/核）、劝说和模型自主性四大类别，并设定了低/中/高/关键四个风险等级。当模型在任一类别达到"高"级以上风险时，理论上应暂停部署直至缓解措施到位。灾难性风险团队的核心价值正在于执行这些评估——没有专职团队，这些框架就可能沦为纸面文件。

从超级对齐团队到灾难性风险团队：OpenAI安全架构持续动荡

这并非OpenAI第一次在安全团队问题上引发外界质疑。回顾过去一年多，OpenAI的安全治理架构经历了多次重大调整。

超级对齐团队解散的前车之鉴

2024年，OpenAI曾解散其备受关注的"超级对齐"（Superalignment）团队。该团队由联合创始人Ilya Sutskever和Jan Leike共同领导，原本承诺投入公司20%的算力资源，专注于解决如何控制"远超人类智能"的AI系统这一根本性难题。然而随着两位负责人相继离职，该团队被整合分散。Jan Leike在离职时公开表示，"安全文化和流程已经让位于闪亮的产品"。

超级对齐是AI安全领域最具前瞻性和争议性的研究方向之一。其核心问题可以简化表述为：当AI系统的智能水平远超人类时，人类如何确保它仍然按照人类的意图和价值观行事？这在技术上被称为"对齐问题"（Alignment Problem）。传统的对齐方法如RLHF（基于人类反馈的强化学习）依赖于人类评估者能够判断AI输出的质量，但当AI能力超越人类理解范围时，这种方法就会失效——人类无法有效监督自己无法理解的系统。

RLHF的基本流程是：先训练一个奖励模型来模拟人类偏好判断，再用强化学习优化语言模型使其输出更符合人类期望。但这一方法存在根本性局限：奖励模型可能被"游戏化"（reward hacking），即模型学会表面上讨好评估者而非真正遵循价值观；人类评估者自身存在认知偏差和一致性不足；更关键的是，随着模型能力提升，人类在越来越多的领域中无法准确判断输出质量——例如复杂代码审查或科学推理。这正是超级对齐团队存在的理论基础：需要找到不依赖于人类直接判断的对齐方法。

Ilya Sutskever团队探索的方向包括使用较弱的AI系统监督较强的AI系统（即"弱到强泛化"实验），以及开发可解释性工具来理解超级智能的决策过程。该团队承诺获得的20%算力资源，按照OpenAI当时的规模估算，价值可达数十亿美元级别，这从侧面显示了最初承诺的重大程度，也使得后续的食言更加令人震惊。

如今灾难性风险团队被解散的消息，若属实，则是这一趋势的又一延续。外界担忧的核心在于：当一家掌握着最前沿AI能力的公司一再削减或重组其专门的安全评估力量时，谁来为潜在的极端风险把关？

OpenAI治理结构的特殊背景

要理解这些安全团队变动的深层逻辑，需要了解OpenAI独特的治理结构。OpenAI最初于2015年成立为非营利组织，其创始愿景是确保通用人工智能（AGI）的发展造福全人类，而非被少数商业实体垄断。然而，随着深度学习对算力需求的爆炸式增长，非营利模式难以筹集足够资金，OpenAI于2019年创建了"有限营利"（capped-profit）子公司，投资者回报被封顶在初始投资的100倍。非营利董事会名义上对营利实体拥有最终控制权，其使命是确保AGI"造福全人类"。

然而2023年11月的"宫廷政变"事件暴露了这一治理结构的脆弱性。当时，董事会在未提前通知投资者和大多数员工的情况下突然解雇CEO Sam Altman，理由据称与对其坦诚度的担忧有关。但在微软（OpenAI最大投资者，已投入超过130亿美元）的强烈施压和超过700名员工联名威胁集体辞职的情况下，Altman在不到一周内恢复了职位，而原董事会成员几乎全部被替换。这一事件清晰地表明：当非营利使命与商业利益发生冲突时，后者拥有压倒性的杠杆。

此后，OpenAI宣布计划转型为完全营利性公益企业（Public Benefit Corporation），这一转型意味着非营利董事会将不再拥有对公司的最终控制权。虽然公益企业在法律上需要平衡股东利益与社会使命，但批评者指出，这种平衡在实践中往往向商业利益倾斜，因为"社会使命"缺乏量化标准和强制执行机制。在此背景下，安全团队的解散不仅是人事变动，更反映了公司治理哲学的根本性转变——从"使命驱动、安全优先"到"商业驱动、安全兼顾"。

"悄然"二字背后的信任危机

值得玩味的是报道中"quietly"（悄然）这个措辞。相比于产品发布时的高调宣传，涉及安全团队的调整往往在没有正式公告的情况下进行。这种信息不对称本身就加剧了公众的不信任感。当安全承诺是公开做出的，而收缩却是私下进行的，外界自然会质疑这些承诺的分量究竟有多重。

商业化压力与AI安全责任的结构性矛盾

要理解这一系列事件，必须放在整个AI行业激烈竞争的大背景下审视。

AI竞赛中的艰难取舍

自ChatGPT引爆生成式AI热潮以来，OpenAI、Google、Anthropic、Meta等公司陷入了一场空前的能力竞赛。在这场竞赛中，模型迭代速度、产品发布节奏成为衡量成败的关键指标。而安全评估、红队测试、对齐研究这些工作，虽然至关重要，却往往会"拖慢"产品上线的步伐。

这场竞赛的烈度堪比历史上的太空竞赛。OpenAI凭借GPT系列模型占据先发优势，但Google（Gemini系列）、Anthropic（Claude系列）、Meta（LLaMA系列开源路线）以及中国的DeepSeek^广告、字节跳动等公司快速跟进。这场竞赛的特殊性在于其"赢者通吃"的网络效应——率先达到某一能力阈值的公司可能获得不成比例的市场份额和数据飞轮优势。所谓"数据飞轮"是指AI产品在获得更多用户后能收集更多交互数据，这些数据反过来可用于改进模型，进而吸引更多用户的正反馈循环。ChatGPT在2022年11月发布后仅两个月即达到1亿月活用户，创下互联网产品增长纪录，先发优势不仅体现在用户规模上，还包括开发者生态锁定（API集成一旦建立，迁移成本极高）、品牌认知占位以及人才虹吸效应。

据估计，训练一个前沿大模型的成本已从数百万美元攀升至数亿甚至数十亿美元——例如GPT-4的训练成本据传超过1亿美元，而下一代模型的训练预算可能达到10亿美元量级。这意味着每一次训练周期的延迟都代表着巨大的机会成本。在此背景下，安全评估如果需要额外数周或数月的时间，对商业竞争力的影响是实实在在的。这种"赢者通吃"的动态使得任何可能延迟产品发布的因素——包括安全评估——都面临巨大的内部抵制。

当资源需要在"更快推出产品"与"更充分评估风险"之间分配时，商业逻辑常常占据上风。这不是某一家公司的道德问题，而是整个AI行业激励机制的结构性困境。经济学中将此称为"逐底竞争"（race to the bottom）——当竞争者都有动机削减安全投入以获取速度优势时，即使每个参与者都认同安全的重要性，集体行动的结果仍可能是安全标准的整体下滑。这正是为何许多AI安全研究者认为，仅靠市场机制和企业自律不足以解决这一问题，需要外部监管来设定统一的"底线"。

资源整合还是安全能力削弱？

提一嘴，团队被"解散"并不必然等同于相关工作被完全放弃。企业内部常见的做法是将专门团队的职能"整合"到其他部门中，宣称这样能让安全考量"融入每个环节"。然而批评者认为，这种整合往往意味着专职、独立的安全监督力量被稀释——当安全成为"人人有责"时，也可能变成"无人真正负责"。

独立的安全团队之所以重要，正是因为它能够站在与产品团队相对独立的立场上，对潜在风险发出不受商业利益影响的警告。一旦这种独立性被削弱，内部制衡机制也随之弱化。完整的安全评估流程通常包括红队测试（由专门人员模拟恶意使用者系统性尝试突破AI安全防护）、模型卡编写、影响评估以及分阶段发布等环节。

红队测试源自军事术语——在军事演习中，"红队"扮演敌方以发现己方防御漏洞。在AI领域，红队测试已发展为一套系统化的方法论，涵盖多个层面：越狱测试（Jailbreaking）尝试通过精心构造的提示词绕过模型的安全拒绝机制，例如通过角色扮演、多轮对话逐步引导等技巧；危险能力探测评估模型在生物武器设计、网络攻击代码编写等敏感领域的实际辅助能力；对抗性输入测试检验模型面对特殊格式或编码输入时是否会出现意外行为。此外还有系统性偏见审计和多模态安全测试（如评估图像生成模型是否会产出有害内容）。

这些流程的完整执行可能需要数周至数月——据公开报道，GPT-4在发布前经历了约6个月的安全评估和红队测试期，涉及超过50个外部专家团队。这类工作需要专门的技术人才（既懂AI系统又懂攻防安全）和独立的判断权限（能够在发现严重问题时叫停发布），这正是为何独立安全团队被认为不可替代的关键原因。将安全职能分散到各产品团队中，虽然理论上可以让安全考虑更早介入开发流程，但实践中往往导致安全人员在产品经理的进度压力下丧失否决权。

AI治理的深层拷问：自律、监管与透明度

这一事件的意义远超OpenAI一家公司，它触及了AI治理的几个根本问题。

AI行业自律能否被信赖？

长期以来，前沿AI公司主张"自我监管"，即由公司内部的安全团队和治理框架来管理风险。但当这些内部机制可以被公司管理层随意重组、解散时，外界有理由质疑：仅靠企业自律是否足以应对AI可能带来的灾难性风险？

这也为主张政府监管介入的一方提供了有力论据。如果连行业领头羊都无法维持稳定的内部安全承诺，那么外部的、有约束力的AI监管框架就显得愈发必要。

从全球监管进展来看，各主要经济体正以不同速度推进AI治理框架。欧盟的《人工智能法案》（AI Act）于2024年正式生效，是全球首部全面的AI监管法律，对"高风险"AI系统施加了严格的合规要求，包括强制性的风险评估和透明度义务。该法案采用基于风险的分级监管框架：将AI系统分为不可接受风险（如社会信用评分系统，直接禁止）、高风险（如关键基础设施、执法领域的AI，需满足严格合规要求）、有限风险（如聊天机器人，需透明度义务）和最低风险（大多数AI应用，基本不受约束）四级。对于通用人工智能模型（GPAI），法案额外引入了"系统性风险"概念——训练算力超过10^25 FLOPS的模型被自动归类为具有系统性风险，必须进行对抗性测试、报告严重事件并确保网络安全保护。违规企业面临最高全球年营收7%或3500万欧元的罚款。

美国此前采取了行政令加行业自愿承诺的路径。拜登政府2023年10月发布的AI行政令要求前沿模型开发者向政府报告安全测试结果，具体包括：使用超过10^26 FLOPS算力训练的模型必须在训练开始前通知政府，并在部署前分享安全测试（包括红队测试）的结果。七家主要AI公司（OpenAI、Google、Anthropic、Meta、微软、Amazon、Inflection）此前还签署了自愿安全承诺，包括在发布前进行内部和外部安全测试、投资网络安全、研究社会风险等。然而特朗普政府上台后已撤销该行政令，将监管哲学转向"促进创新、减少监管负担"，这使得美国AI安全治理的未来方向出现重大不确定性。

英国则通过AI安全研究所（AI Safety Institute，前身为Frontier Model Taskforce）走政府研究引导路线，该机构致力于评估前沿模型的安全性并发展安全评估方法论，但目前不具备强制执行权。中国发布了《生成式人工智能服务管理暂行办法》等多项规定，强调算法备案、内容安全和数据合规。这些不同路径反映了各国在创新促进与风险管控之间的不同权衡，但一个共同趋势是：纯粹依赖企业自律的模式正日益受到质疑，各国都在探索如何建立有效的外部问责机制。

透明度缺失加剧公众担忧

无论是超级对齐团队还是灾难性风险团队的调整，公众获知的信息大多来自离职员工的爆料或媒体报道，而非公司主动、透明的披露。这种透明度的缺失，使得社会难以对这些掌握关键技术的公司进行有效监督。

值得注意的是，OpenAI此前曾要求离职员工签署极为严格的保密协议和非贬损条款，据报道若违反将导致丧失已归属的股权（潜在价值可达数百万至数千万美元）。这一做法在2024年被媒体曝光后引发强烈批评，OpenAI随后表示将修改相关条款。但这一事件本身反映了一个更深层的问题：当AI公司可以通过经济手段压制内部知情者的发声，公众如何获知这些影响全人类的技术决策的真实状况？这也是为何许多AI治理研究者呼吁建立类似金融行业"吹哨人保护"机制的AI版本——确保出于善意披露安全担忧的员工不会遭受报复。

结语：AI安全不应是可以"悄然"放弃的选项

OpenAI灾难性风险团队被解散的传闻，无论最终细节如何，都再次敲响了警钟。在AI能力以前所未有速度演进的今天，专门的、独立的安全评估力量不应成为可以随商业需要而增减的"成本项"，而应是前沿AI开发不可或缺的基础设施。

对于整个行业而言，真正的挑战在于：如何设计出既能推动创新，又能确保安全承诺不被竞争压力侵蚀的治理机制。这或许需要更强的外部监管、更高的透明度要求，以及一种从根本上重新平衡"速度"与"责任"的行业文化。在通往更强大AI的道路上，安全从来都不应该是一个可以"悄然"放弃的选项。