每周30美元：自改进智能体如何将企业后台准确率从41%提升至91%

企业AI工程领域长期存在一个默认假设：可靠性需要高昂成本。要提升准确率，通常意味着更大的模型、无休止的重试循环、昂贵的视觉处理，以及人工兜底团队。但Brainbase Labs工程负责人Milind Shah用Domino's Pizza的案例证明：这一成本曲线可以被彻底翻转。

一个反直觉的案例：准确率翻倍，成本降至零头

Domino's Pizza此前依赖外部咨询团队，手动追踪本地快餐连锁的竞品定价与促销折扣。这种方式不仅成本高昂，且难以规模化。Brainbase部署了自主浏览器智能体来接管这一流程。

经过九次迭代，系统任务准确率从41%跃升至91%，运营成本则从每月数千美元的咨询费骤降至每周仅20至30美元，单数据源的推理成本低至1.16美元。

这个50个百分点的准确率跃升背后，是一套关于务实AI工程的方法论，而非模型规模的军备竞赛。

第一阶段：先定义“正确”，再写代码

Brainbase团队在动任何提示词或模型参数之前，先解决了一个基础问题：成功到底长什么样？

Domino's此前由人工分析师手动检查竞品网站、收集本地优惠码和促销价格，并构建结构化电子表格供高管决策。为了用软件复现这一流程，Shah直接与Domino's的非技术业务团队坐下来，逐一解读他们使用的参考表格。

“他们早已知道一份好的表格长什么样，”Shah解释道。“我们用这些来创建内部的基准数据集，包含问题和预期输出。没有内部基准，你既无法证明准确率数字，也无法将改进与成本降低挂钩。”

这个基准成为后续每一次提示词调整、模型替换和智能体指令修改的评分依据。

第二阶段：坐标硬编码与模型优化

基准建立后，Brainbase开始系统性地攻克智能体的执行瓶颈。出乎意料的是，准确率的最大跃升并非来自更大的LLM，而是来自去除视觉推理。

早期迭代中，浏览器智能体依赖视觉处理来定位竞品网站上的按钮和导航链接。这种方式缓慢、昂贵且容易误点。Shah意识到，快餐订购界面具有静态UI布局。与其让模型在每次页面加载时解析图像token来寻找“查看优惠”按钮，Brainbase直接为重复出现的UI元素硬编码固定的X/Y屏幕坐标。

“与其让智能体通过读图来找出按钮在哪，我们直接告诉它精确的X/Y坐标，”Shah说。“这消除了昂贵的图像读取推理，单此一项就带来了最大的准确率提升。”

话说回来，Shah在模型选择上做了实验。团队没有默认使用Anthropic的旗舰模型，而是发现：高度结构化、严格指定的提示词搭配Sonnet 5，在准确率上表现更优，且token成本仅为旗舰模型的一小部分。

视觉推理的成本陷阱：在多模态智能体中，视觉推理指模型将页面截图转成图像 token 后由模型逐帧解析，用以判断可点击元素位置的机制。其成本结构与文本推理显著不同——一张高分辨率截图往往消耗数百至上千个图像 token，而且每次页面状态变化都需重新推理。更关键的是，视觉定位存在随机性，即使逻辑上完全相同的按钮，在像素略有偏移或渲染差异时也可能被误判。对于 UI 布局高度稳定、交互路径可枚举的网站（如连锁快餐下单、政务表单、企业内网系统），这种"每次重新看图"的方式属于典型的重复性浪费。硬编码 X/Y 坐标等价于把"定位"从推理任务降级为查表操作，省下的不只是 token 成本，还包括延迟与失败重试。

第三阶段：自改进尚未攻克的前沿

Brainbase的平台目前驱动着超过10,000个企业内部智能体，覆盖从发票异常清理到库存调拨等后台工作流。虽然Brainbase的自动化“Hillclimbing”引擎可以自动检测并修复错误工具调用或幻觉等失败模式，但Shah对当前自动化的边界保持坦诚。

复杂的浏览器导航轨迹仍然需要人类工程师介入。“自动化改进对工具调用和幻觉有效，”Shah指出。“但浏览器导航对自动改进智能体来说仍然过于复杂。工程师仍需手动审查智能体轨迹，找出浏览器操作在何处崩溃。”

对于评估预算紧张的团队，Shah给出了直截了当的建议：不要把初始评估搞得太复杂。“确定性评估标准在低推理成本下就能发挥很大作用——检查幻觉、工具使用正确性和对知识库的遵循程度。”

Hillclimbing（爬山式自改进）：在智能体工程语境中，Hillclimbing 通常指一类局部搜索式的自动优化循环——系统收集运行轨迹中的失败样本（如工具调用参数错误、不必要的幻觉输出），自动生成候选修复方案，仅保留在验证集上表现更好的改动，如此迭代。它的优势是不需要梯度或人工标注，直接对提示词、工具签名或规划模板做局部调整。局限同样明显：搜索半径小，容易陷入局部最优，且严重依赖可自动判定的评估信号（pass/fail、工具返回码）。当失败原因需要跨越多个页面的语义判断（例如识别某次跳转是否因登录态失效），手工监督仍然不可替代。

工程师视角：乐观与技能退化的隐忧

Shah的职业路径横跨DoorDash和Adobe的软件工程岗位，在Merkle将代码数据业务从零做到八位数营收，并联合创立了评估平台Pipelines。

尽管构建了处理复杂企业工作流的自主系统，Shah对AI革命保持着脚踏实地的反思。

“总体我是乐观的，但我经常思考技能退化的问题，”Shah坦言。“如果我今天用AI写代码，明天用AI写其他一切，你就有失去核心技能的风险。一个好的AI工程师首先需要扎实的工程基础。”

这个案例的核心启示或许在于：在追求智能体自主性的同时，定义清晰的评估基准、选择恰当的模型层级、识别哪些环节可以硬编码优化，仍然是人类工程师不可替代的判断力所在。

技能退化（skill atrophy）：指工程师在长期依赖 AI 完成编码、调试、架构设计等任务后，对底层原理与调试直觉的敏感度下降。这种现象与自动化领域经典的"自动化自满"（automation complacency）一脉相承——当系统大多数时候正确，人类监督者会下意识降低复核频率，直到出现严重故障。对企业而言，其风险不是 AI 取代工程师，而是出现"无人能诊断 AI 出错原因"的真空：模型能生成代码，却没人能读出其中微妙的安全或性能问题。Shah 的观点因此值得重视——扎实的工程基础不是被替代的对象，而是决定 AI 能否被有效驾驭的前提。