Anthropic创始团队自述:我们为何押注AI安全

Anthropic创始团队讲述从确信AI将改变一切,到以公益公司架构和安全优先原则应对风险的全过程。
文章基于Anthropic创始团队的集体回忆,梳理了这家公司从诞生到形成影响力的关键脉络。团队因观察到算力、数据扩展带来的能力可预测增长与「涌现」现象,确信人类水平AI将在有生之年出现,由此产生巨大的责任感。他们选择公益公司架构,允许为使命牺牲利润,并坦然接受公司名字的随意由来。早期模型存在编造事实等「善意的笨拙」,团队在落后前沿的数年中专注算力与算法改进,最终靠Opus与Sonnet 3.5迎来转折。Mythos模型展现专家级漏洞发现能力后,公司以Glasswing项目限制发布、优先安全。团队判断2026年是风险变真实的节点,但强调必须给人们一个为之奋斗的理由。
一群科学家的共识:AI将改变一切
Anthropic的创始团队背景多元——理论物理博士、癌症生物标记物研究者、记者、全球发展工作者。他们从不同路径汇聚到同一个判断上:AI的进步速度已经超出了常规技术的范畴。
据视频中多位创始人的回忆,2018年前后还在OpenAI工作时,他们分别从事模型训练、政策研究、可解释性和安全方向。Dario注意到一个趋势——他称之为"大浪"(the big wave):更大的算力、更多的数据,智能水平沿着可预测的曲线上升。每次规模扩展,模型都会涌现出此前不存在的新能力。
这种"涌现"让团队意识到,人类水平的AI可能不在百年之后,而在有生之年。用其中一位创始人的话说:"如果你真正看清了这件事,你就无法转身离开。"

「涌现」(emergence)是机器学习领域的一个术语,指当模型规模(参数量、训练数据量、计算量)扩大到某一临界点后,突然表现出小规模模型完全不具备的能力,例如多步推理、代码生成、上下文学习等。这种能力并非被显式训练出来,而是从海量数据与参数中自行「生长」出来,因此在模型训练完成前往往难以预测。正因如此,涌现被视为AI具备不可预期性的核心来源之一:它既意味着能力可能快速跃升,也意味着新的风险可能在意想不到的地方出现。
兴奋与恐惧并存的起点
AI潜在收益巨大——医疗、机器人、科学发现、数学定理,甚至"将癌症发病率降低90%"这样的愿景。但同一批人也看到了另一面:如果构建的东西比自身更强大,潜在风险无论怎么推演都令人不安。
他们给出的类比是制药和解锁原子能——价值极高,也可能出错。团队的核心感受是一种巨大的责任:"我们是世界上少数理解这项技术后果的人。"
这种认知推动了一个决定:必须在一个对安全有深度承诺的环境里工作,必须建立一家能承受这项技术要求的组织。

为什么选择公益公司架构
早期最重大的决策之一,是成为什么样的公司。讨论比外界想象的复杂得多。团队清楚,他们需要能建造全球最大规模的计算机、训练前沿技术、将技术部署到世界,同时对技术的困难面和收益面都保持诚实。
最终他们选择了公益公司(Public Benefit Corporation),于2021年1月26日完成注册。这意味着公司不只受经济激励驱动,也受"对世界做正确的事"这一激励约束。创始团队明确表示,有时会为了使命牺牲利润或股东价值最大化。
公司名字的诞生过程颇为随意。候选名单里有Squirrel、Owl、Whale、Differentiated、Humane等,最终Jared贡献的"Anthropic"胜出——它意为"以人为中心",契合一家希望AI以人类利益为导向发展的公司。加上Anthropic.com是当时能拿到的最便宜域名,理由就更充分了。
公益公司(Public Benefit Corporation,简称PBC)是美国部分州法律允许的一种公司形式,其章程中必须写明一项具体的「公益目的」,并要求管理层在决策时平衡股东的经济利益与该公益使命。与传统公司不同,PBC的董事在法律上被允许为使命牺牲部分利润,而不必承担违反受托责任的指控。这一架构介于普通公司与非营利组织之间:它仍可融资、上市、参与商业竞争,但把使命写入法律文件而非仅停留在口号。Anthropic选择此架构,正是为了让「安全优先」在治理层面获得制度保障。
早期的混乱与"不体面"的苦活
初创阶段的真实状态远没有后来光鲜。有人去搞定AWS集群,有人搭建第一版网站,Dario负责融资,另一位创始人负责招聘——中间甚至有那么几个月,首席科学家Jared Kaplan在跑工资单。
早期模型也带着一种"善意的笨拙"。团队的目标是让助手"有用、无害、诚实",他们先做到了有用,再推进无害,但诚实那一环长期不达标——模型会编造事实,曾极力说服用户"全土豆饮食"非常健康。你还可以让它进入"龙模式",它就会用全大写字母冲你吼叫。
当时团队对自己的定位只是研究实验室:产出的技术可能极其强大、极具经济价值,也可能只是一个好奇心的产物或科学实验。

落后者的那几年,以及转折点
2023年3月Claude公开发布时,团队很清楚自己"远远落后于前沿"。创始人回忆与潜在客户的通话,对方直接问:为什么要用你们的模型而不是别人的?他只能回答:这是个好问题。
这段"难熬的岁月"被事后证明对Anthropic极为有益,但当时确实艰难。他们得出的判断是:只研究能力较弱的模型,就无法了解技术可能出错的所有方式,也无法让整个生态更安全。
于是团队近乎偏执地聚焦两件事——获取算力,以及积累"算力乘数":用各种算法手段让神经网络一点点变好,堆叠足够多的改进后,得到更智能、更会遵循指令的模型。
转折来自Claude Free与Opus——第一次有了真正好用的模型。几个月后Sonnet 3.5问世,模型在编程场景中变得实用,团队顺势做出了后来成为Claude Code的工具,用户可以要求它在电脑上直接执行任务、解决问题。对外发布后,一波新的需求浪潮随之而来。
「算力乘数」(compute multiplier)是一种形象说法,指在给定硬件算力的条件下,通过算法与工程手段提升模型实际智能水平的倍率。具体手段包括更优的训练目标、数据筛选与配比、架构改进、后训练对齐、推理时的采样策略等。由于前沿训练所需的算力极其昂贵且受供给限制,能否用同样的算力「榨出」更多智能,往往决定了落后团队能否追平甚至反超。Anthropic在追赶期将「获取算力」与「提高算力乘数」并列为两条主线,正是这一逻辑的体现。
Mythos事件:公益使命的一次真实考验
视频中披露了一段关键经历。Anthropic训练出一类新模型(对外称Mythos),内部评估后发现它在发现软件漏洞和利用方式上达到了专家级别。网络安全专家注意到这一点时,团队的反应是震惊——如果恶意行为者拿到这个模型,用来大规模利用漏洞,整个行业乃至全世界都会陷入糟糕境地。
Dario召集公司管理层,决定以不同于以往任何模型的方式发布。他们启动了"Glasswing项目":先向一小批公司开放Mythos,同时开发防护措施,之后再扩大可用范围。这样网络防御方可以借助Claude定位漏洞并完成修补。
创始人坦言,这可能不是最大化收入、利润和股东价值的方式——但这正是公益使命存在的意义。"用正确的方式做事,短期往往要付出代价,可能相当痛苦,但关键在于纪律和远见。"

安全研究与商业竞争之间的取舍
Anthropic一直公开发表安全研究,即便这对竞争不利,理由是这对整个生态的安全有益。团队的逻辑是:只有当自己处于前沿、拥有最强模型时,安全研究能力才最强,也才有最多时间应对新出现的问题——如果你是第一个看到问题的人,你就赢得了处理它的时间窗口。
对于风险的时间线,创始人的判断颇为直接:2025年之前,关于AI为何有风险的讨论多是概念性的;而在过去一年,事情变得更加具体。他们表示,2026年是风险开始变得真实的时间点。
「负责任的扩展政策」(Responsible Scaling Policy,RSP)是Anthropic提出的一类框架:在训练更强模型之前,先设定若干能力阈值(如网络安全、生物风险等),并预先承诺当模型接近这些阈值时必须启动相应级别的安全措施,必要时暂缓发布。这类政策的难点在于把模糊的风险判断转成可执行的触发条件,并接受外部审视。Mythos事件中限制发布、先建防护再扩面的做法,本质上就是这一思路在真实场景中的落地。
给人们一个为之奋斗的理由
创始团队强调,只列举技术会出什么问题是不够的——"你必须给人们一个可以为之奋斗的东西,而不只是一个可以反对的东西。"
他们列举的正面案例包括:AI帮助患者从医生那里获得正确诊断、帮助人们创业或重拾爱好、帮助生物学家开发疾病疗法。生物团队报告了疑似新基因编辑机制的发现,并预计未来每月可能发现数十种。
视频结尾的态度保持克制:这项技术能否安全地建成、能否惠及人类并化解风险,还没有做到。用创始人的话说:"我们还没有赢得谈论这些美好愿景的权利,但我们已经在路上了。"
相关推荐

黑洞不是洞:用蹦床比喻讲透引力弯曲时空
黑洞不是空洞而是物质之山。视频用蹦床和铁砧的比喻,解释引力如何弯曲时空,揭示黑洞名称的误导性来源,帮助读者建立更准确的物理直觉。

Genie One精准度背后:精选Agent为何需要治理上下文
Genie One 的准确度问题揭示了精选 Agent 的核心挑战:缺乏治理上下文时,财务与核保对同一问题给出矛盾答案。本文分析治理上下文的三个层次、精选 Agent 的准确度陷阱,以及构建可治理上下文层的工程方向。

Genie ZeroOps公测:自主Agent如何自愈数据管道
Genie ZeroOps 进入公开测试,这是一款能自主检测、调查并修复数据管道的智能体。文章解析其核心能力、80,000 个客户问题经验的来源,以及自主 Agent 在数据运维中面临的现实挑战。