[控场AI]
· 6 分钟阅读· 3,376 字

AI治理六大准则:从做任务到定原则的转变

AI治理六大准则:从做任务到定原则的转变

企业AI投资巨大但仅5%见效,破局关键是从构建系统转向治理系统,靠原则、上下文与判断力。

MIT媒体实验室NANDA项目发现,300亿至400亿美元企业生成式AI投资中,仅约5%的集成试点创造了实质性价值,这一现象被称为"GenAI Divide"。问题不在模型本身——赢家与输家用的是同一批模型——而在于缺少能指挥系统并对结果负责的人。文章提出"governor shift":技术人员需从亲自执行转向设定意图、原则和边界,让系统代为执行。六条治理准则包括:识别人形中间件陷阱、用原则替代规则、将文化分三层写入代码、安装"信任恒温器"、先用CCRAG修复上下文再谈治理、学会按例外管理。核心结论是:AI没有让判断贬值,反而使其成为组织中最稀缺的资源,治理正是品味与判断从"软词"变成工作本身的地方。

当企业生成式AI投资高达300亿至400亿美元,MIT媒体实验室NANDA项目却发现,绝大多数组织尚未产生可衡量的利润影响,仅约5%的集成试点创造了实质性价值。这一现象被研究者称为"GenAI Divide"。问题不在于技术——赢家和其他公司用的是同一批模型——而在于缺少能够指挥系统并对结果负责的人。

rss source: 6 Guidelines for Governing AI

从构建系统到治理系统

Lowe's企业AI转型负责人在其新书《The Enterprise Brain》中提出"governor shift"概念:从亲自执行任务,转向设定意图、原则和边界,让系统代为执行。这个转变的核心对象,不是偶尔用聊天机器人的普通用户,而是那些对机器产出签字确认的工程师、产品经理、分析师和业务运营者。

他们可能不写代码,但要决定一个智能体可以自主批准哪些定价例外、哪些必须上报。这种角色转变要求技术人员重新理解"交付"的含义:交付的不再只是功能,而是一套可运作的决策秩序。

六条治理准则

识别"人类中间件"陷阱

在软件中,中间件是连接两个系统并传递信息的代码。许多知识工作者已经变成了它的"人类版本":从工具A取数据、重新格式化、再路由给团队B。这种"管理员陷阱"由架构造成,而非人的问题。中继传递恰恰是AI智能体现在最擅长的事,但它们无法判断哪些数字值得关注、哪些风险是真实的、哪些妥协值得做出。

中间件(Middleware) 是软件架构中的一层基础设施,位于操作系统与应用软件之间,负责在异构系统间传递数据、转换协议、协调通信(如消息队列、API网关、ESB企业服务总线)。它的核心价值在于"连接与路由",而非业务判断。作者借用这一概念创造"人类中间件"隐喻,意在指出:当知识工作者的日常被简化为跨系统的取数、格式化、转发时,其实际职能已退化为软件中间件所做的事——这类任务恰恰是大语言模型与智能体最擅长且成本最低的工作。理解这一术语有助于把握文章的核心论点:被AI取代的不是"思考者",而是"人形路由器";而无法被替代的是对数字价值的判断、风险识别与妥协取舍。

用原则替代规则

退款超过一定金额需要上级签字、写代码需要两位审核者——这些规则以人的速度运作。但当系统每小时做出数千个决策,遇到规则手册从未预见的场景时——比如一个投诉同时涉及三条政策——规则就会失效。

规则说"做这件具体的事",原则说"在不越线的前提下达成结果"。治理AI意味着按优先级写下原则,让系统像一支训练有素的团队在经理不在时那样自行解决冲突:不伤害客户、说真话哪怕丢单、保护经济性、然后快速行动。这背后的核心问题是决策权——谁或什么有权做某项决定——把这些答案写进"原则库",已是技术人和业务负责人的核心领导工作。

将文化写入代码

许多公司把价值观做成了挂在墙上的海报,但AI智能体读不懂海报。治理需要写成代码,分三层:顶层是"宪法",规定智能体永远不可打破的规则——比如绝不陈述无法支撑的事实;第二层是"教义",即企业如何竞争、可接受何种取舍,比如为长期关系牺牲短期销售;底层是"战术手册",针对具体任务的打法。

安装"信任恒温器"而非"信任开关"

几乎每家公司部署AI时都会卡在同一个问题:万一它告诉大客户错误信息,或报出我们不会兑现的价格怎么办?它确实可能会。把信任当作开关,只剩两个糟糕选项:无人监督的系统,或人工审核每一笔交易——后者成本可能超过自动化节省的费用。

替代方案是恒温器:每个决策带有基于原则测得的置信度分数,高于阈值则自动执行,低于阈值则人工介入。人的判断被反馈进学习回路,使下一个类似案例能自行跨过阈值。每个决策保持透明、可审计、可解释——即"玻璃盒"。

置信度分数(Confidence Score) 是模型对自身输出正确性给出的概率性估计,通常由模型logprob、多模型投票或专门的校验模型生成。它是一个统计量而非事实判断,因此存在校准(calibration)问题:模型"很自信"不等于"很正确"。这正是"恒温器"设计的关键挑战——阈值设在哪里、如何用历史人工介入数据反哺校准、如何处理分布外(OOD)场景。文中提到的"玻璃盒"(Glass Box)与AI可解释性中的"黑盒"相对,强调决策链路中每一步(用了哪些上下文、触发哪条原则、置信度如何计算)都能被审计人员回溯。对于受监管行业(金融、医疗、法律),这一可审计性是AI能否落地的前置条件,而非可选项。

先修复上下文,再谈治理

你无法治理一个看不到全局的系统。问最好的员工关于某个项目的情况,他们能调出预算、合同条款和客户上次的投诉,因为他们了然于心。大多数企业AI通不过这个测试,因为信息散落在格式不兼容的应用中。

作者将完整回路概括为CCRAG:连接(Connections)输入交易和服务记录等原始信息;上下文(Context)将其编织为连接图谱,给智能体接近记忆的能力;推理(Reasoning)做决策;行动(Actions)将决策送回业务系统;治理(Governance)确保一切与公司意图一致。多数组织痴迷于中间的推理,却在上下文和治理上投入不足——而这恰恰是人类发挥作用的环节。上下文会复利增长:每次交互都让图谱更丰富、更难被复制。

RAG(Retrieval-Augmented Generation,检索增强生成) 是当前企业AI的主流范式:模型在生成答案前先检索外部知识库,以弥补训练数据时效与私有知识的不足。但传统RAG只解决"单次检索—生成"的线性问题,缺乏对实体关系的持续积累。文章提出的 CCRAG 实质是对RAG的企业级扩展——用"连接图谱"(可类比为知识图谱)替代扁平向量库,使智能体具备接近人类记忆的关联调用能力。其中"上下文会复利增长"的判断尤为重要:每一次业务交互都在为图谱增加节点与边,形成竞争对手难以短期复制的数据资产。这也解释了为何多数组织在推理层"军备竞赛"却收效有限——真正稀缺的是被结构化、可治理的企业上下文。

学会按例外管理

最重要的习惯改变放在最后。大多数人被训练成检查每份报告和每个数字,因为不知道错误会从哪里冒出来。在受治理的系统中,机器会告诉你哪些案例它无法自信解决。常规工作流无需干预,你的注意力集中在那一小部分模糊、陌生或高风险的决策上。

起初这感觉像失去控制,但恰恰相反。它使"自扩展企业"成为可能:产出增长而人头数不必成比例增长。人没有被移出回路,而是被提升到回路之上。

身份问题:判断力与品味

与人们讨论这一转变时,抵触很少来自技术层面,更多来自身份认同:如果AI做"做"的部分,我做什么?

作者的回应是:做从来不是真正的工作,判断才是,做只是表达判断的方式。AI没有让判断贬值,反而让它成为组织中最稀缺的资源——因为一个人的判断,只要写得好,就能每天引导数千个决策。

判断有一个少被谈论的孪生兄弟:品味。判断告诉你答案是否可靠,品味告诉你问题是否值得问、在100个都说得通的选项中该给客户哪一个。机器乐于生成全部100个选项,但无法告诉你哪个最好。

AI转型奖励的正是工程学科已有的本能:系统思维、对需求的精确、对失败模式的诚实。工具变了,纪律没变。治理,正是品味和判断从"软词"变成工作本身的地方。

自扩展企业(Self-Scaling Enterprise) 是文章末尾隐含的组织形态概念:产出规模的增长不再线性依赖人头扩张,而是取决于原则库、上下文图谱与置信度机制的成熟度——即"治理资本"可以像软件一样被复用和放大。这一概念与软件工程中的"杠杆率"一脉相承:一份写得好的原则可以每天引导数千次决策,一份写得差的规则则会制造数千次例外上报。因此,作者强调工程学科的本能(系统思维、需求精确、对失败模式诚实)在AI时代不仅未贬值,反而成为组织中最具杠杆效应的能力。判断力与品味之所以稀缺,是因为它们无法被批量生产,且只在被显式编码后才能规模化。

#AI治理#企业AI#GenAI Divide#AI代理#决策权#信任恒温器#上下文图谱#AI转型
分享:

相关推荐