[控场AI]
· 6 分钟阅读· 3,014 字

智能体AI治理:为何管控动作比审查模型更重要

智能体AI治理:为何管控动作比审查模型更重要

智能体AI治理的核心是在运行时管控工具调用,而非审查模型本身。

随着AI从"回答问题"升级为"自主执行动作",企业治理的核心对象必须从模型转向智能体及其可调用的工具。文章指出,借助MCP等协议,一个已获批准的智能体可以在无需任何代码部署的情况下悄然获得转账等高风险能力,彻底绕过依赖"发布事件"作为检查点的传统治理机制。针对这一风险,文章提出三道核心控制:为每个智能体指定唯一负责人、固定可调用工具清单并将变更纳入审批流程、在每次工具调用前进行实时内联检查。文章最核心的判断是:无法在运行时强制执行的治理只是文档,可执行性才是智能体时代治理框架的真正分水岭。

从审查模型到管控动作:治理对象的根本转变

传统的AI治理(AI Governance)聚焦于模型本身——一次模型发布会经过安全审查、合规评估和风险打分。但当AI从"回答问题"升级为"自主执行动作"时,治理的核心对象也随之改变。

智能体AI治理(Agentic AI Governance)的本质,是治理动作而非模型。一个智能体真正的风险,并不在于它背后的大语言模型有多强,而在于它被允许调用哪些工具。换句话说,模型只是大脑,工具才是伸向真实世界的手。

一个智能体真正的风险在于它可以调用的工具

这个转变看似微妙,却触及了企业风险管理的盲区。一个通过了所有模型审查的智能体,依然可能因为被授予了错误的工具权限而酿成事故。

为什么季度董事会"看不见"真正的风险

原始内容提出了一个极具警示性的场景:只需注册一个MCP服务器(MCP server),一个已获批准的智能体就能获得"转移资金"的能力。关键问题在于——这项新能力的上线不需要任何代码部署。

能力上线无需代码部署,季度董事会永远看不到它

没有代码变更,就意味着没有常规的发布流程、没有版本评审、没有变更记录触发审批。结果是:一个按季度召开的董事会或治理委员会,根本不会在任何审查文件里看到这项新增的高风险能力。

这正是智能体时代治理失效的典型路径。传统治理依赖"发布事件"作为检查点,而智能体可以在不触发任何发布事件的情况下,悄然获得改变业务结果的权力。治理机制与风险产生的节奏彻底脱节。

MCP(Model Context Protocol)是由Anthropic提出的一种开放协议,旨在标准化大语言模型与外部工具、数据源之间的连接方式。类似于USB-C为硬件设备提供统一接口,MCP为AI智能体提供了一种通用的"工具插槽"——任何兼容MCP协议的服务器都可以向智能体暴露新能力,包括发送邮件、查询数据库、执行代码,乃至调用金融API进行资金操作。MCP的设计初衷是提升互操作性和开发效率,但其"即插即用"的特性也带来了治理盲区:一个新的MCP服务器可以在运行时动态注册,无需修改智能体代码,也无需经过任何传统的软件发布流程。这正是文中"无代码部署即可新增高风险能力"这一安全隐患的技术根源。

三道控制:被治理对象是智能体本身

智能体AI治理给出的答案是:把被治理的对象从模型重新定义为智能体。每一个智能体对应一行记录,包含明确的责任人、它可用的工具、它能触及的数据范围,以及它的支出上限。

一行记录、一个负责人、它的工具、数据范围和支出上限

围绕这个被治理对象,内容归纳出三道核心控制:

1. 每个智能体一个负责人(An owner per agent)

责任必须落到人。每个智能体都要有唯一的所有者,这样当它执行了意外动作时,追责链条是清晰的,而不是分散在"模型供应商""平台方""业务团队"之间互相推诿。

2. 固定的工具清单(A pinned tool manifest)

智能体可调用的工具必须被"钉死"在一份清单里。一旦工具清单被固定,任何新增工具都自动变成一次变更请求(change request)。这就把前文那个"注册MCP服务器即获得转账能力"的隐形操作,强制纳入了审批流程。能力的扩张不再是无声的。

每个智能体一个负责人、固定的工具清单、每次工具调用前检查

3. 每次工具调用前检查(A check before every tool call)

这是最关键的一条:在调用之前决策,而不是在拿到结果之后。检查必须发生在工具边界(tool boundary)上,内联(in line)执行。内容中提到的Capsule正是在这一环节做实时拦截——在动作真正触发外部系统之前完成校验。

这种以智能体为单位进行注册和管控的思路,在安全领域被称为"最小权限原则"(Principle of Least Privilege)的智能体化延伸。传统软件系统中,最小权限要求每个进程或用户账户只被授予完成其任务所必需的最低权限。移植到智能体场景中,这意味着一个负责起草邮件的智能体,不应同时持有访问财务系统或执行外部HTTP请求的工具权限。将工具清单"钉死"并纳入变更管理,本质上是把最小权限原则从静态的账户权限管理,扩展到了动态的、运行时的能力边界管理。这一做法同时也为审计追踪提供了基础:每一次工具清单变更都有记录,每一次工具调用前都有校验,使事后溯源成为可能。

可执行性才是治理的分水岭

整段内容最尖锐的一句判断是:无法在运行时强制执行的治理,只是文档(Governance you cannot enforce at runtime is documentation)。

这句话道破了许多企业AI治理框架的尴尬处境——它们停留在政策文件、合规清单和事后审计层面,却无法在智能体即将转账、删除数据或调用外部API的那一刻真正叫停它。

智能体AI治理与传统AI治理的分界,可以这样概括:

维度传统AI治理智能体AI治理
治理对象模型发布智能体及其动作
风险来源模型本身的输出智能体可调用的工具
检查时机发布前审查每次工具调用前
控制粒度版本/模型负责人、工具、数据范围、支出上限
执行层面文档与流程运行时、工具边界内联拦截

文中提到的"运行时内联拦截"(inline enforcement at runtime)在技术架构上通常以Policy Enforcement Point(PEP,策略执行点)的形式实现。这一概念源自XACML(可扩展访问控制标记语言)等传统访问控制框架:策略被集中定义在Policy Decision Point(PDP),而执行则发生在离动作最近的拦截层。在智能体场景中,工具调用前的检查节点就充当了PEP的角色——它在智能体向外部系统发出实际请求之前,向决策引擎询问"此次调用是否被允许",并根据返回结果决定放行或阻断。这种架构的关键优势在于将策略逻辑与业务逻辑解耦:业务团队无需修改智能体代码即可调整治理规则,同时所有决策均可被记录,形成可供审计的完整调用日志。

对企业落地的启示

对于正在部署智能体的组织,这套思路提供了清晰的行动框架。与其纠结于选用哪个模型,不如先回答三个问题:谁为这个智能体负责?它被允许调用哪些工具?在它动手之前,谁来做那道检查?

随着MCP等协议让工具接入变得越来越便捷,"能力无声扩张"的风险只会加剧。把治理点从发布流程下沉到运行时的工具边界,是智能体时代绕不开的架构选择。治理若不能在运行时拦住一次危险的工具调用,再完备的制度也只是纸面文章。

#智能体AI治理#Agentic AI Governance#AI治理#MCP服务器#AI智能体风险#工具调用治理#运行时治理
分享:

相关推荐