[控场AI]
· 10 分钟阅读· 5,262 字

AI Agent工程实战:从盯代码到自动合并PR

AI Agent工程实战:从盯代码到自动合并PR

Cursor 工程师用五个月构建验证与约束体系,让 Agent 从被盯着写代码到自动合并 PR。

文章复盘了 Cursor 工程师 Lauren Tan 如何在五个月内建立对 AI Agent 的信任,使其从“每个输出都要人工检查”进化到“早晨醒来发现约 20 个 PR 已被自动合并”。核心论点在于:关键不是模型能力,而是围绕验证构建的工程约束体系。具体包括:让 Agent 能真正运行应用、抓取 trace、复现问题的控制技能;帮助 Agent 定位 UI 功能的 Feature Map;以 Markdown 编码工程品味并用 eval 持续维护的 skills;以及通过 CI 硬失败(禁用 useEffect、禁止注释、进程隔离检查)替代软约束的 Dune 架构。扩展路径必须是本地验证→云端 Agent 自主产出 PR→自动合并,不可跳级。

AI Agent 写代码已经不是新鲜事,但真正让资深工程师放心把 PR 交给它、甚至一觉醒来发现 20 个 PR 已经合进主干的,仍然是少数。Cursor 工程师 Lauren Tan 在一场技术分享中,完整复盘了她如何在五个月内完成这条信任曲线——从「一个 Agent 都要盯着看」到「Agent 自动合并 PR」,核心不在模型有多强,而在于一套围绕验证(verification)构建的工程约束体系。

信任曲线:Agent 工程的第一性问题

Lauren 用一个管理学的类比开场:如果你不信任自己的下属,你唯一的管理模式就是微观管理——盯着每个人的屏幕、检查每一行产出。对 Agent 也是一样,当你不信任它,你就只能亲自当验证器,而这直接锁死了并行能力:你不可能在还不信任单个 Agent 输出的时候,去同时启动 100 个 Agent。

她把自己五个月的经历画成一条与贡献量呈镜像关系的曲线:第一个月因为不熟悉代码库产出很低,随着对 Agent 信心的建立,交付速度快速攀升。近期单月合并的 PR 数量达到四位数级别,而当月才过 12 天就已接近 800 个 PR。她坦言这个数字会让人质疑代码质量,但强调这正是良好 Agent 配置的结果,而非放任自流。

这条曲线没有捷径。Lauren 明确警告:不要从「盯着一个 Agent」直接跳到「启动成百上千个云端 Agent」,那只会浪费大量 token 且成本极高。信任必须逐级建立。

验证能力:Agent 能否自己跑起来

Lauren 认为,与 Agent 协作最重要的技能是验证——Agent 能真正运行代码、抓取 CPU trace 或堆快照、打开 iOS 模拟器,用用户实际接触应用的方式去跑一遍、测一遍、确认它到底能不能工作。这不能保证 Agent 写出优雅的代码,但至少能让它写出正确的代码,这是信任的地基。

她举了 Cursor 内部 Agent 窗口(内部代号 Glass)的例子。刚入职时她需要在极紧的排期内优化性能,只能自己打开 Chrome DevTools 看火焰图,而 Agent 对此毫无概念——把 trace 截图发给它,它会自信地指着某个地方说「就是这里」,改完却发现根本不是问题所在。这个阶段,人类就是唯一的验证器,也是整个流程的瓶颈。

为此她构建了第一批控制类技能(control skills),教 Agent 通过 Chrome DevTools Protocol 或苹果的模拟器工具以编程方式启动应用、抓 trace、执行操作。这些代码本身并不复杂,Agent 完全可以自己生成,关键在于思路:把「怎么验证」变成 Agent 可执行的指令。

Agent 与开发者协作流程示意

Chrome DevTools Protocol(CDP) 是 Chrome 浏览器提供的远程调试接口,允许外部程序通过 WebSocket 与浏览器通信,以编程方式控制页面导航、执行 JavaScript、捕获网络请求、获取性能 trace 与堆快照等。它也是 Puppeteer、Playwright 等自动化工具的底层基础。对于 Agent 而言,CDP 意味着它不必依赖截图或人类描述来“看”应用,而是能直接读取运行时状态、注入脚本触发交互、采集精确的性能数据。这使验证从主观观察变为可复现的自动化流程,也让 Agent 能在没有人类在场时独立完成“运行—观察—诊断”的闭环。

Feature Map:让 Agent 知道功能在哪里

仅有运行能力还不够。Lauren 发现 Agent 虽然能启动 Agent 窗口,却完全不知道界面里有什么——当用户报告「右侧 PR 标签页卡顿」时,Agent 会在代码库里乱翻,找不到对应功能,技能因此几乎毫无用处。

于是她在控制技能中加入了一个叫 Feature Map 的文件,教会 Agent 如何到达每一个功能:从用户视角描述侧边栏有哪些子功能、对应哪些快捷键,甚至记录通过 CDP 选择元素所需的 DOM 属性。这一改动让技能真正可用——面对 Slack 频道里大量低质量反馈(很多人只丢一张截图加几个问号),Agent 也能凭 Feature Map 理解上下文、定位并复现问题。

她把这个思路产品化成了插件 Pstack(名字戏仿 YC CEO Garry Tan 的 Gstack,「P」指 potato),其中包含 create verification skill 与 maintain verification skill,前者自动探索代码库生成初始 Feature Map,后者负责持续维护。

Pstack 插件与 Gstack 的命名渊源

Feature Map 本质上是一份面向 Agent 的“应用导航说明书”,以自然语言和结构化条目描述每个用户可见功能的入口、交互方式与定位方法。它不同于传统的组件文档:组件文档描述代码结构,而 Feature Map 描述从用户视角如何抵达和操作某个功能,包括快捷键、菜单路径、DOM 选择器属性等。其价值在于弥合“代码库知识”与“运行时行为”之间的鸿沟——Agent 即使读懂了源码,也未必知道用户点击哪里会触发该代码。Feature Map 把这种隐性的产品知识显式化,使 Agent 能将模糊的用户反馈(如一张截图)映射到具体的功能模块和可复现的操作序列。

Skills 与 Evals:把工程品味编码下来

Lauren 观察到 Agent 的典型失败模式:用户报告 bug 后,Agent 笃定地说「一定是这里」,但查看工具调用记录才发现它压根没读应该受影响的代码。这种时刻最容易让人彻底失去信任。

她的应对方式是把每一次失败都沉淀成 skill。Skill 本质上就是 Markdown,但能编码大量指令与上下文。她引用社区的说法——给 Agent 高质量的 token 开头,相当于把它「拉到另一个潜空间」,让后续预测沿着更聪明的模式展开。

维护 skill 则靠 eval,可以理解为 Agent 的单元测试。Pstack 的 potato 模式下有一个 eval playbook:由一个协调 Agent 制定评分标准,再派生多个子 Agent 在各自目录中执行任务(目录名刻意不暴露「正在被评测」,因为 Agent 会察觉并改变行为),最后用另一个模型充当裁判交叉校验,避免评分偏差。由于 Cursor 支持多种模型,同一套 skill 可以跨模型矩阵评测。她还会用 Cursor 的循环指令反复跑 eval,直到全部达到满分。

不过 Lauren 强调,维护 skill 很依赖品味和观察力:要像结对编程时坐在旁边的搭档一样,翻看 Agent 的每一次工具调用、思考块,找出它到底在哪里掉链子。

Eval(评测) 在 Agent 工程语境中借鉴了机器学习评测的思路,但对象不是模型本身,而是 Agent 在特定任务上的行为表现。一个 eval 通常包含任务描述、初始环境、评分标准与执行流程。文章提到的“协调 Agent 制定标准、子 Agent 执行、裁判模型交叉校验”是一种多 Agent 评测架构,目的是减少单一模型评分的主观偏差。目录名刻意隐藏评测意图,是因为 Agent 会感知上下文并调整行为(类似人类在“被观察”时表现不同),这会污染评测结果。跨模型矩阵评测则能检验同一套 skill 在不同模型上的鲁棒性,避免 skill 过度拟合某一个模型的行为模式。

从本地到云端:Benny 与自动合并

验证体系成熟后,才能向云端扩展。Lauren 介绍了一个叫 Benny 的 Agent:它接收所有 bug 报告,在云端启动一台自己的「电脑」运行 Cursor,用同一套控制技能复现问题。有一次它成功复现了 bug,同时确认该问题在主分支上已被修复——只需要再发一个版本即可,这类信息过去要人工和 Agent 磨上一个小时。

她给出的路线图很清晰:先在本地建立验证能力并观察 Agent 行为 → 信任后扩展到云端 Agent,让它们自主接取信号(如 bug 报告)产出 PR → 最后才谈自动合并。今天她早上醒来看到约 20 个 PR 已被 Agent 合并,审查时它们已在主分支上,而且质量不错。

重写与约束:Dune 架构的硬性护栏

Lauren 罕见地为「重写应用」说了句公道话。她认为棕地应用(已有代码库)如果护栏到位,Agent 表现其实不错;真正的风险与机会都在绿地应用——像内部快速 vibe coding 出来的原型,人类完全不读代码,Agent 会挑最省事的方式实现,最终代码库失控。

她的解法是为这类应用重建一套架构(代号 Dune,可理解为「面向 Agent 编写的 Electron 版 Next.js」),把约束做成 CI 级别的硬失败:

  • 特性目录内聚:一个 feature 的全部代码放在单一目录,Agent 80% 的工作只需在该目录内完成
  • 禁止 useEffect:React 最大的坑之一,CI 直接报错
  • 禁止代码注释:她发现 Agent 99% 的注释是在记录无关的历史信息,甚至会把一句针对某个 PR 的批评写成永久规则
  • 进程隔离检查:通过依赖图确保 renderer 线程不会误引入 main 线程代码,避免 16ms 帧预算被 IO 或重计算挤爆导致掉帧
  • 静态分析与 lint:把观察到的坏模式固化为检查项

她特别区分了强制力层级:代码库架构是最强约束,静态分析和编译诊断次之,而 rules、skills 和 Bugbot(Cursor 的 CI 代码审查工具)属于「软约束」——Agent 可能遗忘或不一致地执行。如果只靠软约束和人工 code review 撑住代码库,迟早会失控。她甚至提到,Rust 重新流行的一个原因就是编译器足够严格,只要 Agent 不写 unsafe 块,编译通过基本就可信。

判断信号很简单:当你反复在 PR 上留同样的评论,那就是反模式——应该把它转成 lint 规则、CI 失败,或者从根上消除这类问题。

最短路径即最优路径的设计原则

棕地(brownfield)与绿地(greenfield) 是软件工程中描述项目起点的隐喻:棕地指已有大量遗留代码、架构和历史决策的存量系统,绿地指从零开始、没有历史包袱的新系统。文章的核心判断是:棕地应用因为有现成的架构和约束,Agent 反而容易在护栏内工作;绿地应用(尤其是快速原型)缺乏约束,Agent 会倾向选择最省力的实现路径,导致代码库迅速失控。这一区分修正了“重写一定更好”的直觉——重写的风险不在于重写本身,而在于新代码库是否从一开始就内置了机器可执行的约束。

ROI 与组织效应

面对「不是人人都有无限 token」的质疑,Lauren 没有回避:她在 AI 实验室工作,确实不愁 token。但她把问题转成 ROI 账——前期重构代码库、搭建约束确实烧钱,但如果目标是让 Agent 写大部分代码、团队保持精简,那么这笔投入换来的是「最笨的 Agent 也能写出好代码」。她估算重构内部应用花掉了 600 多个 PR 的工作量,单人完成需要数年。

收益也不只属于工程师。在 Dune 架构下,PM 和设计师可以直接提交修复,Lauren 只需 review 后放行。她把这套严格约束形容为「人类写起来很烦,但 Agent 把这份烦全部吸收了」。

关于 PR 规模,她表示没有硬性上限,从几十行到上千行不等,但会鼓励 Agent 拆分,因为 Git 历史是重要的上下文来源,原子化的 PR 也更容易回滚定位。

编辑点评

这场分享的价值在于把「Agent 能不能写代码」的问题,转换成了「你能否把工程标准变成机器可执行的验证与约束」。自动合并 PR 听起来激进,但它是结果而非起点;在此之前,是 Feature Map、控制技能、eval 循环和 CI 硬失败一层层堆出来的信任。对多数团队而言,最现实的起点或许不是 Pstack,而是先回答:你反复在 review 里留的那条评论,什么时候能变成一条 lint 规则?

#AI Agent#Agent 工程#Cursor#自动合并 PR#Agent 验证#Pstack#Dune 架构#AI 编程
分享:

相关推荐