[控场AI]
· 5 分钟阅读· 2,763 字

前OpenAI研究员Christiano:AI实验室应先解决安全再谈前沿突破

前OpenAI研究员Christiano:AI实验室应先解决安全再谈前沿突破

Christiano警告算法秘密易扩散使美国AI领先或仅剩12小时,主张暂停可扩散的算法改进。

AI安全研究员Paul Christiano在访谈中指出,Anthropic与OpenAI近期遭遇的安全事件由「极不复杂」的攻击者造成,却触及Slack讨论与共享代码仓库等核心资产,使对手可能直接站到美国公司的前沿。他由此提出美国AI领先优势或许只有「12小时」而非数月,因为算法进展的可扩散性远高于模型权重。在漏洞遍布软件栈、防守方普遍处于劣势的背景下,他从国家安全角度主张暂停在薄弱安全姿态下继续改进预训练与强化学习,尤其是那些极易扩散、可被快速窃取的算法改进。Christiano以OpenAI董事会成员身份发言,但明确声明不代表董事会立场。

当算法秘密比模型本身更脆弱

据AI安全研究员Paul Christiano在访谈中的观点,Anthropic和OpenAI在近期都曾遭遇安全事件,攻击者并非高度复杂的国家级黑客,而是「极其不 sophisticated 的行为者」,却获得了足以提取绝大部分算法进展的访问权限。他们能看到Slack里的讨论,或触及OpenAI共享代码的monorepo。Christiano由此抛出一个尖锐的判断:人们常争论美国AI比中国领先八个月、十二个月还是六个月,但「现实中我们只领先12小时」——一旦秘密泄露,对手就站在了美国公司所处的前沿。

if these secrets leak, then they are right at the frontier that the American companies are at.

这个类比揭示了AI竞争的一个结构性弱点:算法进展的「可扩散性」远高于模型权重本身。代码仓库和内部通讯工具一旦被攻破,对手拿到的不是某个模型的快照,而是持续迭代的方法论。Christiano称这些高调事件只是「该能力的演示」,即便没有它们,国家级行为体相对于普通科技公司的技术 sophistication,叠加快速增长初创公司的安全姿态,也足以构成系统性风险。

monorepo(单一代码仓库) 是大型科技公司常用的一种代码管理架构:将多个项目、服务和组件的源代码集中存放在同一个仓库中,而非分散在多个独立仓库。对前沿 AI 实验室而言,monorepo 通常包含模型训练代码、基础设施配置、实验脚本乃至部分内部文档。其优势在于跨团队协作和依赖管理更高效,但安全代价也很明显——一旦攻击者获得该仓库的访问权限,就能一次性触达大量核心资产。Christiano 所描述的「触及 OpenAI 共享代码的 monorepo」,正是指这种单点突破即导致大面积泄露的情形,这也解释了为何访问权限的管控在前沿实验室中属于最高等级的安全边界。

网络安全正处于防守方最艰难的时刻

Christiano将当前时点描述为网络安全的「极具挑战性的时刻」。整个软件栈中被发现的漏洞数量,让防守方generally处于劣势。这意味着前沿实验室即便想做好安全,也面临一个不利的基线环境。

for defenders in general, given the number of vulnerabilities that are being discovered

他的论证链条是这样的:如果能力快速提升,而产出的AI系统无法被充分控制,且实验室希望或已经放缓进一步开发与部署,那么在赌注极高、系统极强的节点上,对手获得模型或算法访问权就是不可接受的情形。问题不在于某次泄露的后果,而在于泄露发生的时间点恰好与能力跃迁重合。

攻击面的扩大与防守方的结构性劣势:现代软件栈由操作系统、容器编排、第三方依赖库、云服务配置等多个层次叠加而成,每一层都可能引入新的漏洞。防守方需要覆盖所有可能的入口并持续修补,而攻击方只需找到一个未被修复的点即可突破。安全经济学中常以此解释为何「漏洞数量」本身构成一种压力:随着被披露漏洞的绝对数量上升,防守方有限的修复带宽被稀释,平均修复时间拉长,攻击窗口随之扩大。Christiano 所说的「不利的基线环境」,指的正是这种攻防不对称性——它并非某家实验室的疏漏,而是整个行业共同面对的起点。

争议焦点:预训练与强化学习是否该暂停

Christiano给出的政策结论相当直接:从国家安全角度看,在现有安全姿态下,美国AI实验室继续改进预训练和强化学习「并不好」。当被追问前沿实验室应该暂停什么时,他的回答是「我认为我们应该暂停」,并补充这一表述可以涵盖很多层面。

access to either the models or the algorithms. I think my current view is that this dynamic

他特别划出了一类应「立即停止」的活动:以极易扩散的方式改进算法——这类进展即便在正常状态下也会快速外溢,更不用说被窃取。这与他一贯的关注点一致:不是反对能力进步本身,而是反对在防护不足时推进那些一旦泄露就无法收回的进展。

预训练与强化学习是当代大模型能力提升的两条主要技术路径。预训练指在海量数据上通过自监督学习让模型获得广泛的基础能力,成本极高但产出可被复制和微调;强化学习(尤其是基于人类反馈的 RLHF 及后续的推理强化方法)则用于在预训练模型之上进一步优化行为与推理表现。Christiano 之所以将这两者并列作为暂停讨论的对象,是因为它们既是能力跃迁的主要来源,其方法细节又高度「可扩散」——算法思路一旦被知晓,对手无需复制庞大的算力投入也能快速跟进。这与模型权重不同:权重是静态产物,而训练方法是可持续复用的知识。

利益冲突的坦承与边界

访谈中有一个值得注意的细节:Christiano是OpenAI董事会成员,但他在对话中明确声明「我在这里不代表OpenAI董事会发言」。主持人也确认了这一身份事实。

things that Frontier Labs are doing that they should be doing. I do think, like, improving

这种自我限定值得记录:它既说明其观点属于个人判断,也提示读者在评估「暂停预训练」这类主张时,需要考虑到提出者身处治理结构内部的视角。他同时承认前沿实验室有很多「应该做的好事」,暂停的靶心是特定类型的算法改进,而非整个研发活动。

对行业意味着什么

把Christiano的论述拆开看,它实际上提出了一个与主流竞赛叙事相反的优先级:安全姿态不是研发的配套成本,而是研发的前置条件。当「12小时领先」成为现实描述,算法保密的价值就接近于零,继续在薄弱防护下推进可扩散的算法改进,等于主动把前沿地位交给对手。

这套逻辑的推论也值得实验室之外的人思考:如果漏洞遍布整个软件栈、防守方本就吃力,那么「先跑起来再补安全」的路径在前沿AI领域可能不再成立。Christiano没有给出具体的技术方案或时间表,他给出的是一个排序判断——在安全未修复之前,某些类型的进展应当停下。

#Paul Christiano#AI实验室安全#预训练暂停#算法泄露#前沿AI安全#AI国家安全#OpenAI安全事件
分享:

相关推荐