[控场AI]
· 6 分钟阅读· 3,219 字

AI写了90%代码,怎么证明它能跑?Claude Code团队公开39项事故清单

AI写了90%代码,怎么证明它能跑?Claude Code团队公开39项事故清单

Anthropic团队提出验证循环,让AI代码从审查转向证据驱动。

当AI智能体编写了团队九成代码,人类的工作重心从逐行审查转向定义完成标准并审查验证证据。Anthropic的Claude Code团队提出验证循环,通过端到端测试、属性测试和差分测试三类高价值测试,配合39项可靠性检查清单和提交闸口制度,确保AI生成的代码真正可运行。核心原则是“真的跑起来”,验证成本极低使得并行运行数十上百个智能体成为可能。人的角色迁移为定义是非科目并审查证据,如同航空业工程师不检查每颗铆钉而是看飞行数据。

当AI智能体编写了团队九成代码,甚至审查也由AI完成时,一个根本性问题浮出水面:代码读起来没问题,怎么证明它真的能跑?Anthropic的Claude Code团队在继代码审查流程后,发布了续篇,给出了答案——验证。人的工作从逐行看代码,转变为看证据。

验证循环:从单线作战到百团大战

文章作者奥斯玛尼在谷歌工作14年,曾管理Chrome开发者工具,现效力于Anthropic的Claude Code团队。他算了一笔账:没有验证循环,你一次只敢跑一两个Claude,因为每个改动都要亲自解决。有了验证循环,并行跑几十上百个成为可能。这背后是成本反转——过去写测试、做基准、搭真实环境样样昂贵,现在交给agent做,成本极低。测试生成一次后,每次运行只是跑软件,无需再消耗模型推理成本。

如果反复卡在同一个检查上,就把教训写成钩子或规则,防止问题二次发生。

智能体(agent)并行执行时,验证循环是确保每个子任务产出可靠的关键机制。没有验证循环,人类必须亲自检查每个 agent 的改动,导致并行度受限于人的注意力;有了自动化验证(如测试、静态检查、端到端运行),agent 可以在无人值守下批量尝试,人类只需审查验证证据。这种模式将人类从“执行者”转变为“验证标准定义者”,使得同时运行数十上百个 agent 成为可能。但需注意,验证本身必须足够快且低成本,否则会成为新的瓶颈;同时验证规则应集中管理且不可被待验证的变更修改,以防作弊。

三类高价值测试:给AI装上眼睛和手

文章点名三类值得投入的测试,用是非打比方:整机上天、随机风暴、双机对拍。

端到端测试:难以欺骗的通行证

模拟真实用户的完整流程——把商品加入购物车、结账、走到确认页。其最大特点是难以欺骗:要么整个功能跑通,要么不能,没有中间态。单元测试可能全部通过,功能实际已损坏,因为编写测试的agent和被测的agent都不理解完整任务。端到端测试失败时,提供的是带截图的具体证据,而非一句超时报错。文章称这是给agent装上眼睛和手,通过浏览器协议、模拟器或直接调用接口,让它们真正把系统跑起来。

验证等于把变更真的跑起来

属性测试:先立规矩,再让随机输入推翻

思路反转:不举例子,先立规矩。例如“账户余额永远不能为负数”,或“任何数据压缩后再解压必须还原”。规矩立好,工具生成成千上万个随机输入,专门尝试推翻。这套方法1999年就已出现,起点是QuickCheck工具。妙处在于随机输入没有偏见——人会想漏边界情况,编写代码的agent也会犯同样错误,但随机生成器不会。尤其在重写老代码时,规格文档早已与真实行为脱节,这招特别管用。

账户余额永远不能是负数

QuickCheck 是 1999 年由 John Hughes 和 Koen Claessen 在 Haskell 中开发的属性测试工具,其核心思想是用类型驱动随机生成测试数据,并允许用户以属性(property)的形式声明程序应满足的普遍规律。QuickCheck 会尝试用大量随机输入证伪这些属性,失败时自动收缩(shrink)输入到最小反例。这一范式后来被移植到几乎所有主流语言,如 Python 的 Hypothesis、Java 的 jqwik、JavaScript 的 fast-check 等。属性测试与示例测试的根本区别在于:示例测试验证特定输入下的输出,属性测试验证所有合法输入下的不变式,因此更擅长发现边界条件与意外组合。

差分测试:让老系统当标准答案

行话叫“对拍”:新旧两套系统对完全相同的输入,输出不一致的地方就有嫌疑。输入可随机生成,也可从生产环境真实流量采样。比对前先定规矩,比如空白字符差异不算数,再备一份批准变更清单,登记合理的行为变化。大规模迁移代码时,这是最稳的安全网。

差分测试(differential testing)又称对拍测试,是一种通过比较两个或多个实现相同规格的系统在相同输入下的行为差异来发现缺陷的测试方法。其理论基础是“独立实现应产生一致输出”,若不一致则至少一方存在错误。差分测试常用于编译器测试(如 GCC 与 LLVM 对拍)、数据库迁移验证、协议实现一致性检查等场景。实施时需注意:输入空间应覆盖正常路径与边缘情况,可结合随机生成与生产流量回放;比对逻辑需明确定义等价规则(如忽略空白、容忍浮点误差),并维护已知差异的批准清单,避免噪声掩盖真实问题。

验证的核心原则:真的跑起来

理论之上有一条原则:验证等于把变更真的跑起来。网页改动用Chrome扩展测,手机端交给模拟工具,桌面端用计算机操作去点击,后端服务直接在本地运行。这些步骤打包成仓库里的一个技能,名为Verify,越贴近相关代码越好。文章原话是:“这个冒烟测试工具必须坚如磐石。”

39项事故清单:把教训变成检查项

文章最有分量的是39项可靠性检查清单。每项分三段:从代码变更中可读出的触发器、一项检查、背后的历史事故。例如某条目检查“旧记录中是否包含新增字段”——新增字段后,老记录里可没有这个字段。Claude读一遍变更,只检查触发器命中的项,通常三到十项。没有人需要背下所有事故,事故已变成清单。这正是航空业用一百年学会的事:每条检查单背后都是一次坠机。

每条检查单背后都是一次坠机

航空业检查单制度起源于 1935 年波音 299 型轰炸机(B-17 前身)试飞事故。当时飞机因操控复杂,试飞员在起飞时忘记解锁升降舵锁而坠毁。事后调查认为,飞机本身没有问题,问题在于人类无法可靠记住所有关键步骤。于是波音引入起飞前检查单,将关键操作固化为逐项确认的流程,显著提升了安全性。此后检查单成为高风险行业的标准实践,其核心设计原则包括:基于真实事故驱动、简洁可执行、明确触发条件、定期评审更新。软件工程中的可靠性检查清单借鉴了这一思想,将历史事故转化为可自动触发的检查项。

制度设计:让验证不可绕过

团队还设计了四个细节确保制度落地。

第一,提交闸口分三档:关闭、观察、强制。观察模式只记录本该拦截的内容,不影响任何人;强制模式来真的,但同一处变更被拦两次后放行,防止Claude卡死在自己的闸口前。

第二,每个提交都盖一个验证戳,注明验证方式,其中一个值就叫“未验证”。

第三,检查连续失败三轮,停下来,叫人。

第四,把教训变成规则。一个问题至少在两个提交中出现过,才有资格立规矩。立规矩前,还要派三个agent专门去反驳它,反驳不掉才算数。

把教训变成规则

对于时灵时不灵的测试,铁律是不许跳过、不许加等待、不许重试到通过;实在找不到根因,就删掉测试并写下原因。还有一条防作弊设计:评审规则只从主分支读取,绝不在待合并的变更里。文章原话是:“如果一份变更能够修改评判它的检查,这个检查就是坏的。”

人的角色迁移:从读代码到审证据

九成代码交给AI后,人的注意力该放在哪?文章的答案是:从读每一行变更,转向定义“完成”长什么样,然后审查证据。这和航空业如出一辙——工程师不亲自检查每一颗铆钉,而是定义是非科目,看飞行数据。

在内部评测中,让独立评分器按评分标准检查产出,任务成功率最多提高十个百分点,最难的问题提升最大。

原文发布于Anthropic开发者博客,上一篇讲代码审查的文章在Hacker News拿下488分,这一篇是续集,或许更值得读。

分享:

相关推荐