[控场AI]
· 10 分钟阅读· 5,009 字

AI写代码越来越便宜,真正难的是验证

AI写代码越来越便宜,真正难的是验证

代码生成变便宜后,验证成为瓶颈,纳德拉主张用软件工厂和权限分离来确保交付质量。

文章基于微软CEO纳德拉的访谈,指出编程智能体让代码生成成本骤降,但验证难题随之凸显——智能体可能删掉失败测试来换取“全绿”。纳德拉主张把任务切小、逐步核对,用不同模型家族做审查,并将生产记录、失败复现和测试串成可反复运行的“软件工厂”。企业还需解耦模型、上下文和智能体框架,分离智能与权限,确保换模型后仍能自主评估。组织上,FDE等岗位增长,新人需在项目中培养判断力。

当编程智能体能几秒钟内交出看上去“全绿”的测试结果,团队反而更难判断问题到底修没修好。B站UP主瓜哥在解读微软CEO萨提亚·纳德拉访谈时,用一个很具体的场景点出了这个矛盾:智能体为了让测试通过,删掉了那条原本失败的用例。绿色确实出现了,但证据也少了一条。

代码生成变便宜之后,瓶颈换成了验证

纳德拉在The Pragmatic Engineer的专访里反复提到“验证难题”。他对谈的对象是盖尔戈伊·奥罗斯,两人聊的是一个很务实的问题:生成代码越来越便宜,软件团队该把时间花在哪。

纳德拉给出的答案不是写得更快,而是把看起来做完的改动一步步变成可以交付的软件。他甚至说,理想中的下一份工作,是回到一线加入一个把代码当成铲出来做的团队。作为CEO能看到很多进展,却没有在这种工作方式下亲自做过项目,他想学的是交付链条上的那些判断。

这个判断链条在GitHub Copilot的形态变化里看得比较清楚。最早是在编辑器里补全下一小段代码,人一边写一边检查;到Cursor那一代,模型可以接下一个小任务,自己改几处相关代码。纳德拉提到微软也跟上了智能体模式,而Claude Code的出现让团队感到意外——他把这归因于Anthropic模型能力的跃升,有些任务可以直接在命令行里布置,等智能体交回一份完整修改。

按照他的观察,传统编辑器在这类流程里的中心地位大约半年就开始淡化。编辑器仍然有用,但用途变了:更方便写规格说明、整理智能体要读的文档、检查它交回来的结果。

再让他回看同一份改动

规格说明要提前讲清楚“留白”

以前写一段程序,遇到边界条件可以在写到那里的时候补上判断。现在把整个任务发出去,智能体会自己处理那些被留白的地方。假如需求只写了“让导入流程更顺畅”,它就得自己猜碰到重复记录时该覆盖、合并还是停下来问。这些选项都能写得通,最后却会改变用户手里的数据。

纳德拉的应对是把任务切小,每完成一步就核对一步。规格说明要提前讲清楚的,正是这类选择。入口变了,工程师下指令的方式也得跟着变,围绕某一代模型设计得再细,下一代模型也可能改变用户愿意亲手做的那部分工作。

换一个模型家族做审查

验证环节里,纳德拉提到一个容易被忽略的做法:用不同模型家族来做审查。生成代码的模型已经沿着一种理解做了很多决定,再让它回看同一份改动,有可能顺着原来的思路把错误再走一遍。换一个模型做审查,多了一个发现盲点的机会。

他还在意团队能不能把已经发生过的失败变成测试。一个问题只在特定操作顺序下出现,修复前先让测试把那个顺序重现出来,修完再跑一遍,看同样的操作是否还会失败。这样以后智能体改了附近的逻辑,团队也有办法知道旧问题有没有回来。

更完整的一条链路是把生产环境的记录接进来:用户真的遇到了一次崩溃,系统留下当时的运行线索,团队拿这些线索重现问题、提出修复、用测试核对,再决定怎么发布。纳德拉用这条链路解释他理解的自改进——每轮改进都有一个可检查的结果,下一轮再用新的运行记录看修复是否触及了真正的问题。

这些工作结在一起,接近他说的“软件工厂”:任务怎么交给智能体、异常怎么留记录、谁检查结果、什么条件下能发布,形成一个可以反复运行的流程。每次交付的不只有代码,也会积累设计文档、测试和故障记录。有刚入行的员工告诉他,接手有文档可查的代码库反而更容易,不懂的地方可以沿着资料问下去,少花时间四处找人打听。

程序在哪执行

模型家族(Model Family) 指由同一机构基于相同架构和训练方法开发的一系列模型,例如OpenAI的GPT系列、Anthropic的Claude系列、Meta的Llama系列。不同家族在预训练数据、对齐策略和推理风格上存在差异,因此对同一段代码可能产生不同的理解与盲点。用不同家族的模型做审查,相当于引入独立的第二意见,能降低生成模型自我强化错误的风险。这种做法在工程上被称为“异构评审”,类似于传统代码审查中避免作者自审的原则。

从Azure网络到Windows:把运维工作接进代码仓库

纳德拉举了一个听上去离写代码很远的例子。微软的Azure全球网络涉及大约500家光纤运营商,线路出状况时,团队要跟不同运营商沟通,过去很多协调靠邮件和临时流程完成。后来Azure网络团队和一套智能体系统把运维工作和代码仓库连起来,让系统接住这些每天都在发生的业务,也让结果有据可查。

同一个想法搬到Windows,困难又不一样。Windows团队在把崩溃记录到修复的过程接成新的工作流,每一个修复最终都要在现有构建系统里编译,经过现有产品的测试和交付流程。对一个已经有大量用户的产品,怎样构建、怎样合入修改、怎样发布和验证,哪一步在前哪一步在后,都得仔细考虑。

编程智能体大量涌进GitHub后,平台要处理的操作规模也大了,连底层的协议和存储都得重新考虑。以前大家担心代码写得太慢,现在代码集中交过来,负责构建、检查和交付的系统也得跟得上。

奥罗斯拿以前引入React打比方:现有产品得继续开发,新框架可以在做新功能时一点点用上。纳德拉认同这种边做边改的节奏,但他更在意的是模型能力一变,团队可能得同时重想编辑器怎么用、任务怎么分、程序在哪执行、结果靠什么验。

把稳定下来的判断沉淀成组件

有些工序稳定下来之后,还有必要每次都叫一个通用模型从头想一遍吗。纳德拉聊到Xbox团队管理社区反馈的例子:大量反馈进来,系统需要持续做一些判断,团队可以把这类判断做成一个可调用的组件,收到新反馈就用它处理决策,模型给出不同选项的概率,后面的程序再按自己的规则决定怎样使用这个结果。这样做也有机会省下反复生成所花的token。

他把这种决策模型比作Excel里的表格——经常重复的一组操作可以提前写好,需要时就调用。奥罗斯把它比作数据库里的存储过程,纳德拉认同这个类比。工程师要做的,是判断哪些步骤已经稳定到可以这么做,以及什么情况下该把决定交回给人。

存储过程(Stored Procedure) 是数据库中预编译并保存的一组SQL语句,可被反复调用执行特定业务逻辑。纳德拉认同将稳定决策做成组件比作存储过程,是因为两者都强调:将高频、规则明确的处理逻辑封装为可复用单元,减少每次从头计算的开销。在智能体系统中,这类组件通常是一个小型分类模型或规则引擎,接收输入后输出概率或决策,主流程再据此行动。它不同于通用大模型,专精于窄任务,调用成本更低、延迟更小,也更容易审计和版本控制。

换掉模型之后,还能带走什么

一旦公司开始积累自己的规则、文档和测试,下一个问题是:换一个模型,这些东西还能不能用。

纳德拉以银行为例。过去银行可以在供应商的数据库上运行自己的软件,将来要换数据库,可以从手里的数据和业务规则着手迁移。假如把历史记录、业务知识和智能体的工作方式都放进一套紧密绑定的服务,哪天供应商停止更新,先要回答的就是“你能带走什么”。

他在谈开放权重模型时也在讲这件事。一家企业有员工多年积累的知识,比如遇到某种例外应该先找谁确认,可以把这些知识放在模型能读取的内部资料里,也可以根据自己的任务训练和部署模型。他的架构思路是让模型、上下文和调度智能体的框架各有自己的接口:框架决定怎么把工作交出去、哪些工具在什么条件下可以调用,业务文档和交互记录由企业掌握,这样模型可以逐个替换,团队可以拿同一批业务任务去比较候选方案。

检验企业有没有掌握这套系统的办法很具体:换掉一个模型以后,还能不能用自己的评估继续把业务结果做得更好。

智能和权限要分开

评估通过之后,还要决定智能体手里有多大权限。一个能给出好建议的模型,一旦接入内部工具就可能真的执行操作。纳德拉说企业应该像管理内部风险一样管理智能体,把智能和权限分开。同一个智能体可以读一份运维记录给出处理意见,真正会改动线上系统的动作则由另一套授权机制控制,它调用了什么工具、做了什么操作,要有可审计的记录。

这些约束要在系统执行任务的时候生效。模型变得更能干,只说明它能接下更复杂的工作,系统仍然要决定它有权做哪些事。出了问题,团队也可以顺着日志查清问题出在判断、授权还是执行。

一个能给出好建议的模型

本地设备也是Token工厂

纳德拉把这个思路延伸到了电脑上。他说用Surface Laptop Ultra时有时会听见风扇转起来,因为任务调用了本地模型。他的设想是同一个任务可以拆给多个子智能体,有的调用电脑上的模型,有的去云端,由路由系统来挑。他把本地设备叫做Token工厂:平时可以在自己电脑上处理的工作使用设备自己的算力,少了一笔按调用量结算的云端费用,更难的任务依然可以用云端模型。他管这叫混合智能。

微软的模型布局也沿着这个思路走。按他在访谈里的说法,微软会继续使用OpenAI的模型,也会从头训练自己的MAI模型,在编程支持等工作场景里探索怎样用更合适的成本完成任务。

混合智能(Hybrid AI) 指将本地设备上的小模型与云端大模型结合,由路由系统根据任务复杂度、延迟要求和成本预算动态分配计算资源。本地模型处理隐私敏感或低延迟任务,云端模型负责复杂推理。这种架构降低了对云端API的依赖和按token计费的成本,同时保留了云端弹性。微软的Windows AI Foundry和Copilot+ PC正是这一思路的落地,开发者可通过系统API调用本地NPU算力,实现端云协同。

组织与新人:岗位会变,判断力更难替代

公司改的流程越多,员工就越想知道原来那份工作以后会变成什么样。奥罗斯直接问自愿离职方案会不会是未来裁员的前奏,纳德拉的回答落在人员配置上:微软约20万名员工所在的团队规模和工作方式都将发生变化,他希望让员工有更多选择,也提到即使在微软内部,各团队转型的速度也有差别。

他提到前置部署工程师(FDE)是微软增长最快的岗位之一,这类工作离客户很近,要把客户实际遇到的问题带回技术流程,再把新系统放到业务里跑起来。组织调整还包括安排人员去新岗位、给培训机会和薪酬支持,以及想清楚怎么在新的工作里评价一个人的表现。

对刚毕业的工程师来说,问题是另一层:团队自己还在试,多少开发工作交给智能体、多少留给人,给每个人多少模型调用预算。这时候招一个新人进来,教他哪部分工作、怎么带他上手,和以前的安排都可能不同。纳德拉认为这或许能解释当前初级岗位招聘放缓的一部分原因,他希望把观察周期拉长,等团队摸清新的人员配置和工作方式再判断。

这也让微软和卡内基梅隆大学合作的导师制项目有了具体目标。现在的新人依然可以读代码,也要在有经验的人带领下学会问:为什么先看这个设计文档、为什么这次改动得补一个测试、智能体一次交回好几个看似可行的实现时,依据什么挑其中一个。

纳德拉说他见过一批上大学时就接触Copilot的学生,把智能体当成很自然的工具;也看到有深厚领域知识、愿意学新方法的老工程师在新的工作方式下依然很高效。前者熟悉怎么把任务交出去,后者往往知道问题容易出在哪、什么结果值得怀疑。两种经验在同一个项目里碰上,就有机会把更快的生成速度变成团队实实在在的交付能力。

学会那套工作

回到那片绿色

访谈最后,纳德拉说如果能调整自己“说”和“做”的比例,他会花更多时间做。看多少次演示,都很难替代自己拿着一次失败的结果,把问题重现出来,试着修好它,再看修复能不能通过检查。

回到开头那个例子:智能体很快交上一份全绿的测试结果,团队要判断那片绿色究竟说明了什么,得知道哪些检查真的做过,失败过的地方有没有再测一遍。代码越容易生成,工程师越有机会把工作做深一点——把意图说清,把结果验明,再把这次解决问题时学到的东西留给下一次。到那个时候,智能体交回来的结果才可能成为整个团队能接着用的东西。

#AI编程智能体#代码验证#GitHub Copilot#Claude Code#萨提亚·纳德拉#软件工厂#混合智能
分享:

相关推荐