[控场AI]
· 4 分钟阅读· 2,359 字

Anthropic切断内部评估联网:AI智能体失控隐忧浮现

Anthropic切断内部评估联网:AI智能体失控隐忧浮现

Anthropic关闭所有内部AI评估的联网权限,承认当前对智能体行为的可靠控制能力不足。

Anthropic近期宣布关闭所有内部评估环境的实时互联网访问,并表示该措施将持续至另行通知。这一决定背后的核心逻辑是:当AI模型具备智能体能力(自主浏览网页、调用工具、执行多步骤任务)时,其在开放网络中的行为空间过于庞大,现有的护栏机制难以可靠地覆盖所有风险场景。切断联网是一种"先止损"的临时防御手段,将智能体限制在可控沙盒内。但这也带来了新的矛盾:离线沙盒无法真实复现互联网的复杂性,评估结果的有效性因此存疑。事件折射出整个AI行业在能力扩张与可控性建设之间的核心张力,并暗示未来需要从"开/关"二元联网权限,演进为可配置、可审计、可动态回收的精细化治理框架。

事件概述

Anthropic近期披露,公司已经关闭了"所有内部评估"的"实时互联网访问",并表示这一状态将持续"直至另行通知"。这意味着在用于测试和评估模型能力的内部环境中,AI不再能够直接连接到真实的在线网络。

这一决定表面上只是一次工程配置的调整,但背后折射出的是当前AI智能体(AI Agents)治理中的一个核心难题:当模型被赋予自主执行任务、访问外部资源的能力时,开发者是否还能对其行为保持可靠的控制。

Anthropic切断内部评估联网访问

为什么要切断联网访问

内部评估(internal evals)是AI实验室衡量模型能力、安全性与对齐程度的关键环节。为了测试模型在真实场景中的表现,评估流程往往需要让模型访问实时互联网——例如检索信息、调用在线API或执行多步骤的网络操作。

然而,一旦模型具备联网能力,它的行为边界就变得难以预测。智能体可能发起开发者未预期的网络请求,访问敏感内容,甚至在自动化循环中产生难以回溯的连锁反应。Anthropic选择"一刀切"地关闭所有内部评估的联网权限,实质上是在承认:在当前阶段,对这些AI智能体的行为约束尚不够可靠。

控制能力的边界问题

从报道标题可以看出一个尖锐的判断——Anthropic "无法可靠地控制其AI智能体"。这并非指模型会主动"叛变",而是指在复杂的开放环境中,智能体的行为空间过于庞大,难以用现有的护栏(guardrails)完全覆盖所有风险场景。

切断联网是一种务实的风险缓释手段:把智能体关进一个受限的"沙盒"中,先确保评估环境本身的安全可控,再逐步探索如何在联网条件下重建信任。

护栏(guardrails)是AI系统中用于限制模型行为的技术与策略集合,通常包括输出过滤、意图分类、行为白名单/黑名单以及基于强化学习的对齐训练等手段。在单轮对话场景中,护栏相对容易设计——输入与输出之间的因果链条清晰可追溯。但当模型进入"智能体模式",即通过工具调用(Tool Use)在多个步骤中自主做出决策时,每一步的输出都会成为下一步的输入,错误或偏差可能在循环中指数级放大。这种"组合爆炸"式的行为空间,使得预先穷举所有风险场景几乎不可能,也是Anthropic等实验室当前面临的核心对齐挑战之一。

对AI智能体行业的启示

这一事件的意义远超Anthropic一家公司。随着各大实验室竞相推出具备自主操作能力的AI智能体——能够浏览网页、运行代码、调用工具——"能力"与"可控性"之间的张力正在被放大。

智能体越强大,可能造成的意外影响就越大。一个连接到实时互联网的高能力模型,理论上可以执行从数据抓取到账户操作的各种动作,而这些动作一旦脱离监管,后果难以估量。Anthropic作为以"AI安全"为核心定位的公司,主动收紧内部评估的网络权限,某种程度上是在为整个行业树立一种审慎的信号。

评估方法本身面临重构

值得关注的一个深层问题是:如果连内部评估都要切断联网,那么我们究竟该如何真实地衡量智能体在开放环境中的表现?离线沙盒虽然安全,却可能无法完整复现真实互联网的复杂性与对抗性。

这意味着AI实验室未来需要在"评估的真实性"与"评估的安全性"之间寻找新的平衡——或许是通过构建高保真的模拟网络环境,或许是引入更细粒度的权限分级与实时监控机制。

沙盒(Sandbox)是一种将程序或模型的运行环境与真实系统隔离的技术机制,常见于安全测试和软件开发中。对于AI智能体评估而言,沙盒环境意味着模型的网络请求、文件读写、代码执行等操作均在受控副本中进行,不会对外部真实系统产生影响。然而,沙盒的局限性同样明显:真实互联网包含动态变化的内容、反爬机制、复杂的交互状态和对抗性信息,这些难以在封闭环境中完整复现。部分研究机构正在探索"蜜罐式"模拟网络——构建高保真但完全可观测的虚假互联网环境,以在安全可控的前提下最大化评估的真实性。

短期措施还是长期转向

Anthropic用了"until further notice"(直至另行通知)这样的表述,暗示这是一项临时性的防御措施,而非永久策略。它更像是在风险暴露后的紧急响应:先止损,再修补。

但从更长远的视角看,这类事件可能推动整个行业重新审视智能体的部署框架。联网权限不应是"开"或"关"的二元选择,而需要演变为一套可配置、可审计、可随时回收的精细化治理体系。

由于目前公开的信息仅限于Anthropic的简短声明,关于具体触发原因、涉及的模型版本以及后续恢复计划等细节尚未披露,仍有待官方进一步说明。

精细化的智能体权限治理体系在学术界被称为"最小权限原则"(Principle of Least Privilege)在AI系统中的延伸应用。具体实践包括:按任务动态授权(仅在执行特定子任务时临时开放联网权限)、行为审计日志(记录智能体每一步的工具调用与决策依据以便事后溯源)、人机协同审批节点(在高风险操作前强制要求人工确认)以及权限自动回收机制(超时或异常时立即撤销授权)。这一方向与传统软件工程中的"零信任架构"理念高度契合,但将其移植到具有自主推理能力的AI系统中,仍面临延迟、可解释性与用户体验之间的多重取舍。

结语

Anthropic关闭内部评估联网访问这一动作,是AI智能体快速发展中一次具有代表性的"刹车"。它提醒我们:在追逐更强自主能力的同时,可控性与安全性的建设必须同步跟进。对于正在布局智能体产品的企业与开发者而言,如何在能力释放与风险管控之间找到可持续的平衡点,将是未来绕不开的核心命题。

#Anthropic#AI智能体#AI安全#内部评估#联网访问#AI可控性#智能体治理
分享:

相关推荐