AI安全喧嚣之下，企业真正关心的挑战是什么

过去两周，AI安全的讨论几乎主导了整个科技舆论场。民调显示约17%的美国人完全相信AI将终结人类，这种恐慌情绪甚至让不少人担心舆论是否已经"过度校准"。但在这场喧嚣之外，有一群人始终在冷静地问自己一个问题：这一切，对我的业务究竟意味着什么？答案或许出人意料——对大多数企业而言，安全争论几乎没有改变什么，但它确实强化了一些早已开始的趋势线。

Anthropic 试图量化AI的发展速度

当所有人都在寻求更高的"具体性"——无论是政策的具体性还是监测的具体性——Anthropic 推出了一套三轴度量方案，试图让公众理解前沿AI到底跑得有多快。

第一轴衡量AI构建下一代自身的能力，第二轴衡量Anthropic对智能体行为的监督与干预能力，第三轴衡量投入模型开发的资源规模。Anthropic明确指出，这些度量只看模型"如何被构建"，也就是只衡量开发的输入端，但他们认为这些输入与模型能力的增长高度相关。

在第一轴上，Anthropic 构建了一个"研发自动化指数"。按其衡量，Claude 现在"主导"了26%的研发工作，并在超过90%的工作中"协作"。不过这里的"主导"定义值得推敲：它指的是人类提供高层目标、AI在人类监督下端到端完成任务——这与很多人听到"AI主导研发"时想象的"AI自己决定目标"相去甚远。Anthropic 谨慎地强调，Claude 在任何被测的研发子集中都没有完全自主运行。

在智能体监督方面，Anthropic 称约有3万个智能体在任意时刻从事研究与工程工作，声称对这些智能体行为有100%的覆盖率，实时审查的拦截率约为0.002%，即约每4.7万个动作中有1个被监控系统阻止。在资源分配上，约6%用于AI辅助研发的算力、以及约12%用于AI主导研发的算力被投向安全系统。

值得关注的是，这套方案在AI安全辩论的各个阵营中都获得了罕见的正面回应——大家普遍认为"有它比没有它好"。但也有人希望走得更远：有观点认为需要跨所有实验室的标准化度量，并每周到每月公开报告。

Anthropic 这套度量方案的推出背景，与其"负责任扩展政策"（Responsible Scaling Policy，RSP）密切相关。RSP 是 Anthropic 于2023年率先提出、后被 OpenAI 和 DeepMind 相继跟进的一种自我约束框架：实验室承诺在模型能力达到特定阈值前，提前制定并公开相应的安全措施，否则暂停训练更强的模型。三轴度量方案可以理解为 RSP 的可观测化尝试——把"能力阈值"从定性描述转变为可追踪的数字。这也是为什么安全圈普遍给予正面评价：它至少提供了一个可被外部质疑和比较的基准，而不再只是实验室的自说自话。批评者则指出，由于各实验室定义"主导""协作"等术语的方式不同，跨机构横向比较仍然困难，这也是呼吁标准化报告的核心诉求所在。

权力集中：真正的风险在模型还是算力？

如果说这一轮讨论的价值，在于它开始超越"AI会不会毁灭人类"的简单二元对立，那么桥水基金CIO Greg Jensen 的观点提供了一个更具操作性的视角。

Jensen 直言，权力集中才是需要监管的主要AI风险。他指出开源模型存在巨大问题，因为你无法追踪人们在用它做什么，桥水自己就在强大的开源模型上做强化学习训练，效果极佳同时也很危险。但在他看来，这种风险与前沿实验室本身构成的风险相比不值一提："两年内，OpenAI 和 Anthropic 将控制全球35%到50%的算力，这对社会来说是个疯狂的结果。"

Jensen 的建议是把掌握超过5%全球或美国算力资源的机构定义为"系统重要性机构"，像监管系统重要性银行那样加以监管，甚至设置持有上限。这个思路的巧妙之处在于，它把问题的焦点从"模型本身危不危险"转向了"运行模型的权力集中在谁手里"——这两者对应完全不同的干预节点。

话说回来，特朗普政府据报正在考虑为前沿实验室的安全协调开一个反垄断豁免口子。理论上，AI减速可能意味着协调性地削减研发支出、从而以牺牲消费者利益为代价提升利润。副助理司法部长表示，尽管多位AI高管公开呼吁反垄断豁免，但至今尚无人正式联系他的办公室。

另一边，Coursera 联合创始人、著名AI研究者吴恩达则试图给整场讨论降温。他在接受彭博电视采访时将灭绝风险斥为"科幻小说"，认为"末日论者"过去十年里一次次推动这套叙事，目的是为其事业博取关注并塑造监管。在他看来，AI的真正风险主要围绕网络安全，是"实际的工程问题"。

"系统重要性机构"（Systemically Important Institution）的概念源自2008年金融危机后的监管改革。彼时，监管者将规模大到"不能倒"的银行和金融机构单独列为系统重要性银行（SIFI），对其施加更高的资本充足率要求、压力测试义务和特殊处置程序，而非像普通机构那样等到出问题才介入。Jensen 援引这一类比，意在指出算力集中与金融风险在结构上具有相似性：一旦少数主体的失控或崩溃足以对整个社会系统造成级联冲击，事后惩罚便已无济于事，必须在事前建立系统性预防机制。这个框架将监管重心从"AI做了什么"转向"谁控制了AI的基础设施"，在政策讨论中提供了一个现成的制度参照，也因此比纯粹的技术安全论述更容易被金融监管者和立法者所理解。

企业的答案：基本照旧，但趋势被强化

把镜头拉回企业本身，一个反直觉的结论浮现出来：安全争论对企业短期而言几乎没有实质影响。

在《华尔街日报》技术委员会峰会上，当被问及是否担心AI会杀死所有人时，只有寥寥数人举手；但约有一半与会者支持放慢前沿研发、优先构建更好的护栏。峰会上的主要结论是：AI减速对企业当下如何使用AI其实没什么影响。讨论仍然围绕着正常业务风险的审慎治理，而非主导媒体舆论的生存性风险。BlackRock CEO Larry Fink 更担心数据中心建设遭遇的反弹会让AI沦为"大公司的专属领域"，而非X风险。

真正被强化的趋势有两条。第一是网络与安全。Box 的 Aaron Levie 在走访银行、媒体、保险等行业高管后总结，每个人都对AI带来的漏洞增长以及"OpenAI-Hugging Face事件"的影响感到紧张。这种担忧不像硅谷那样存在主义，而是高度务实——关注在自己的环境里操作层面该怎么办。Ramp 数据也印证了这点：Hugging Face 黑客事件后，三家趋势软件供应商都是专门监控生产环境中智能体的产品。

更微妙的是，很多安全顾虑并非来自恶意行为者，而是根植于这些系统本身的强大。当不再只有工程师能接触智能体时，许多公司发现智能体强大到足以"逃逸"出非工程师用户的掌控——哪怕这些用户并无恶意。

第二条被强化的趋势是自有模型与开源权重的探索。多位业界人士给出了同一方向的信号。Mistral CEO Arthur Mensch 表示，作为企业只要不停下构建和拥有自己的AI模型与系统，就不会有"末日"。Foundation Capital 的 Jaya Gupta 更激进地认为，"放慢前沿"或许是软件在位者收到过的最大邀请函——趁实验室争论智能该多快进步时，软件公司应当竞相把"已有的智能"商品化，成为自己垂直领域的"模型工厂"。

现实案例也提供了鲜明对比。OpenAI 一边极力压低模型价格以将客户留在自家环境，一边推出 Astra for Law 等垂直方案；而美国第二大律所 Latham & Watkins 却被报道正在采购英伟达服务器搭建内部系统，理由是有些客户信息过于敏感，"我们不想把它放在任何云厂商那里"。

文中提到的"OpenAI-Hugging Face 事件"指2024年 Hugging Face 平台遭遇的安全漏洞事件：攻击者利用平台上托管的恶意模型文件（主要通过 pickle 序列化格式）在下载并加载模型权重时执行任意代码，可能导致企业内部环境被渗透。这一事件的特殊性在于，威胁向量并非传统的网络入侵，而是嵌入在模型本身之中——意味着企业在引入外部开源模型时，每一次加载都可能成为供应链攻击的入口。这也解释了为何 Ramp 数据追踪到的趋势软件新贵集中于"监控生产环境中智能体行为"这一细分方向：相比事前的模型审计，实时行为监控提供了一道在模型已进入系统之后的最后防线，更符合企业在不停止采用 AI 的前提下管控风险的现实需求。

结语：最难走的路，差异化空间最大

综合来看，企业对这场AI安全讨论的回应大体是"照常营业"。企业内部采用AI的节奏与挑战，本就带有各自独特的制度惯性。但另一方面，这场对话确实为已经启动的趋势添了一把火：网络与安全需要投入更多资源，自有架构与开源权重替代方案则获得了更充分的理由。

如果用一句话概括，那就是：尽管变化中的AI安全舆论并不真正影响企业的短期节奏，但它更清晰地印证了一点——那些愿意去做最难之事、真正投资于自有架构的企业，比以往任何时候都更有机会与同行拉开差距。