[控场AI]
· 7 分钟阅读· 3,660 字

Grok团队月均1.1万PR的秘诀:用确定性约束代替人工审查

Grok团队月均1.1万PR的秘诀:用确定性约束代替人工审查

Grok团队靠确定性约束和自动验证体系,实现单月1.1万PR、0.5%回滚率。

本文基于xAI工程师Potato的演讲,揭示Grok团队如何通过“确定性约束+自动验证”的工程体系,实现单月1.1万个生产PR、回滚率仅0.5%的成果。核心在于将智能体信任度分为四层金字塔,优先发展架构、Lint规则、测试等确定性工具,把每次纠正转化为代码级检查而非提示词。团队将代码库视为花园,通过禁用useEffect、限制跨进程导入、禁掉99%注释等方式保持纯净,使智能体默认产出正确代码。验证成为新的审查方式,运行时验证、形式化验证和功能地图等工具让大部分PR可自动合并。最终,质量提升不依赖更强模型,而是为智能体铺好地基。

AI 写的代码都是垃圾?Grok 团队用数据给出了相反的答案。一位在 xAI 负责 Grok 相关工作的工程师(网名 Potato)在技术演讲中披露:他个人上个月往生产环境提交了 3000 个 PR,而他所在的团队单月提交量达到 1.1 万个,PR 回滚率却稳定在 0.5% 左右。支撑这一数字的不是更强的模型,而是一套以「确定性约束 + 自动验证」为核心的工程体系。

想想怎么把它变成一个确定性

从低信任到高信任:智能体环境的四层金字塔

Potato 把一个团队对智能体的信任程度拆成四层。最底下两层是完全确定性的:良好的 API 设计与架构、重构,以及 Lint 规则、类型系统、编译器和测试。这些工具的共同点是——它们不依赖智能体的「理解」,而是用代码本身逼智能体默认做出正确行为。

再往上是运行时验证和形式化验证,负责发现 bug、检查系统里应当始终成立的性质,并确认智能体是否真正理解了目标。最顶上才是提示词、规则、技能、AGENTS.md 这类需要判断力的软约束。Potato 的建议很直接:每次纠正智能体,先想想能不能把它变成一条确定性检查写进代码库,而不是在规则文件里再加一行——写在代码里可复现性高得多。

代码库是智能体最大的输入

演讲里有一个贯穿全场的比喻:代码库是一座花园。过去一个工程师可能一次只处理几个 PR,现在代码涌来的速度像一条连续的流,每个工程师相当于带着几百甚至几千个智能体的团队。

这意味着代码库里的任何变通方案、反模式、技术债,都很可能被下一个智能体照抄——因为它在代码库里看起来像是「既定模式」。就像花园里的杂草,不知不觉蔓延开来。所以让代码库尽可能纯净,智能体抄的就总是好东西。

把架构约束直接写进 Lint 规则

Grok 团队的客户端框架 Dune 把大量经验编码成了约束和 Lint 规则。最典型的例子是禁用 React 的 useEffect:它有用武之地,但经常被误用,业内开玩笑说用好它得有个博士学位,而智能体并不擅长用它。他们的做法是在产品代码里直接禁用,只允许在 Dune API 内部特定位置使用,于是这个问题在代码审查中彻底消失了。

另一个模式是用目录结构提供上下文。在 Electron 应用 Caster 里,智能体经常把主进程代码导入渲染进程,导致卡顿。Grok 和 Dune 应用里设置了 Electron Renderer 和 Electron Main 两个顶层目录,两者之间的导入被依赖图分析器和 Lint 规则禁止。规则本身很简单,但意味着审查时少了一件需要操心的事。

但意味着我们在代码审查时

useEffect 与 React 状态管理的脆弱性

React 的 useEffect 用于在函数组件中执行副作用(如数据获取、订阅、手动 DOM 操作),但它将副作用与渲染周期耦合,依赖数组的遗漏或错误极易导致无限重渲染、内存泄漏或陈旧的闭包值。正确使用它需要深入理解渲染时机、清理函数和依赖追踪,因此社区常有“用好 useEffect 需要博士学位”的自嘲。智能体倾向于用 useEffect 作为快速修复手段,却难以系统性地推理其副作用,导致反模式在代码库中蔓延。通过 Lint 规则在产品代码中禁用 useEffect,强制开发者使用更声明式的数据流或自定义 Hook,可以从根源上消除这类问题,同时让智能体无法再将 useEffect 作为“逃生口”。

Electron 主进程与渲染进程的隔离

Electron 应用包含主进程(Node.js 环境,负责系统级操作)和渲染进程(浏览器环境,负责 UI)。两者通过 IPC 通信,但渲染进程如果直接导入主进程模块,会引入 Node.js 依赖,破坏沙箱并导致性能问题(如卡顿)。Grok 团队在目录结构上将 Electron Renderer 和 Electron Main 分离为顶层目录,并利用依赖图分析器和 Lint 规则禁止跨目录导入。这种基于目录结构的约束为智能体提供了清晰的上下文边界,使其在编写代码时自然遵循进程隔离原则,减少了代码审查中需要人工判断的负担。

TLA+ 与形式化验证

TLA+ 是一种用于设计、建模和验证并发系统与分布式算法的形式化规约语言。它通过数学逻辑描述系统状态和状态转移,并使用模型检验器(如 TLC)穷举所有可能的状态空间,检查是否满足不变性(invariant)和活性(liveness)等性质。Grok 团队用 TLA+ 对跨设备通知等用户流程建模,以发现设计阶段的逻辑漏洞。虽然 TLA+ 学习曲线陡峭且维护成本高,但智能体可以自动生成规约并运行检验,大幅降低了形式化验证的门槛。这使得团队能在早期捕获细微的并发错误,而无需依赖昂贵的测试或人工审查。

禁掉 99% 的注释,堵住逃生口

有个让 Potato 意外的现象:智能体会把 Markdown 文档、代码注释、技能规则当成「写下自己不做正确知识」的地方,甚至对人类的一次小纠正过度反应,把它当成永远不能打破的硬性规则。

在 JavaScript 性能优化中,命令式定时器(setTimeout、requestAnimationFrame)被大量创建和销毁时会引发垃圾回收和卡顿。智能体却喜欢用它们当快速修复手段,还在注释里解释为什么这个补丁是合理的,结果定时器蔓延到各处。Grok 团队吸取教训,直接禁掉 99% 的注释:注释容易过时,人类懒得读,而且给了智能体一个「做起来太难」的逃生口——最糟的是注释无法强制执行。现在他们的 Lint 规则会给出清晰有用的错误信息,引导智能体去修复根本原因,而不是表面打补丁。

验证成为新的审查方式

既然静态约束挡住了大部分问题,代码审查流程就缩减成了查看验证产物:视频、截图、图表、形式化验证结果。

最基本的例子是运行时验证——给智能体自己运行代码、使用调试工具的能力。他们有一个叫「功能地图」的东西,类似站点地图,从用户视角列出应用里所有可用功能,让智能体不用猜「左边侧边栏那个东西」指什么。配合自定义 CLI,智能体每次都能复用同一套驱动,既省 token 也方便测试。

更进一步是形式化验证。团队用 TLA+ 对主要用户流程做模型检验(例如跨多设备和平台的提醒通知),用 Lean 证明自研虚拟化库不会出现闪烁或抖动。Potato 坦言这还在试验阶段,不是万能药,但已经找到了不少 bug。他们还用基于属性的测试库 Bombadil(原文如此)为 UI 做测试,同样抓到了几个 UI bug。

据 Potato 引用的一条推文,Cinder 在六个月前说自己无法信任智能体,因为细微 bug 被合并进去;而六个月后,她每天 70% 的 token 都花在验证上。Potato 表示自己的 token 用量大头同样在验证。这些技术没有一样是前所未见的新发明,只是过去维护成本高得吓人,而智能体大幅降低了这个成本——软件测试和验证正在进入黄金时代。

它基本上就像一张站点地图

应许之地:1.1 万 PR 与 0.5% 回滚率

投入的回报体现在数字上。上个月 Grok 团队往生产环境提交了 1.1 万个 PR,客户端大约每天出一个新的稳定版,10 月份约有 227 人至少提交了一个 PR——其中不少是上下文有限的「路过贡献者」。

更反直觉的是质量:被回滚的 PR 按相对比例反而降低了,稳定在 0.5% 左右。Grok 的性能不仅保持稳定,相比发布时在启动、打字、对话切换等多个维度上还有提升——别忘了它仍然是个 Electron 应用。

这会不会变成一团乱

一个具体例子:每次发布新版本,Grok 会自动启动一个新的 Cursor 项目,对应用和构建做模糊测试,像真实用户一样使用应用找 bug,然后为每个 bug 开修复 PR 并自动合并。这听起来疯狂,但前提是代码库足够好,PR 默认往往就是好的,大部分产品代码不再需要深入的人工审查。

Potato 给团队的建议顺序是:在自动化一切之前,每次纠正智能体都先试着改进代码库——写一条 Lint 规则防止反模式重现,清理旧模式,再确保验证方案扎实。如果内层编码循环产出劣质代码,自动化只会产出更多劣质代码,你就得往里扔越来越多的 token,而这条路非常贵。

换句话说,把劣质代码变成金子的不是更强的模型,而是你为智能体铺好的地基。

分享:

相关推荐