谷歌开源Harness2：测试时递归改写Agent框架

大模型能力提升通常依赖权重更新，但谷歌研究团队给出了另一条路径：不动模型参数，只改Agent的"外壳"。他们开源了Harness2，一个Apache-2.0许可的框架，核心思路是在测试阶段递归地改写Agent harness。据官方披露，仅一个精炼步骤就让GLM-5在WorkBuddy^广告-Bench上提升了11.5分。

Harness2到底改了什么

Agent harness是包裹在基础模型外面的那层工程结构，负责提示组织、工具调用、上下文管理、重试策略等。传统做法是开发者手工设计harness，然后固定下来。Harness2把这个过程本身变成了可优化的对象：在推理阶段，框架会分析当前harness的表现，生成改进方案，并递归地应用这些改写。

这带来一个关键区别——模型权重完全不动。所有增益来自harness结构的变化。对于那些无法微调、只能通过API调用的闭源模型来说，这种思路的实用价值显而易见。

Agent harness 的典型构成：一个完整的 harness 通常包含系统提示词（system prompt）的组织方式、工具（tool/function）的注册与调用协议、上下文窗口的裁剪与压缩策略、多轮交互的记忆管理、失败重试与回退逻辑，以及对模型输出进行解析和校验的环节。这些组件彼此耦合，任何一处的改动都可能改变模型的实际行为。因此 harness 并非简单的"提示词模板"，而是一套工程化的运行时契约。Harness2 之所以能通过改写 harness 获得可观增益，正是因为上述环节中存在大量未被手工调优的设计空间。

11.5分的提升意味着什么

WorkBuddy-Bench是一个衡量Agent在真实办公任务中表现的基准。GLM-5在这个基准上通过一个refinement step获得11.5分的提升，这个数字需要放在语境里理解：它相当于一次中等规模微调带来的收益，但成本只是几次测试时的结构改写。

需要注意的是，这一结果来自单一来源的官方披露，目前尚缺乏第三方复现。递归改写是否在不同模型、不同任务分布上都能稳定生效，仍需社区验证。

关于 WorkBuddy-Bench 与"分"的口径：Agent 类基准通常由一组需要多步工具调用的办公任务构成（如检索、表格处理、文档生成、跨应用操作等），评分方式多为任务成功率或按子目标完成度加权。因此"11.5 分"的具体含义取决于该基准的分制：若为百分制成功率，则相当于绝对提升 11.5 个百分点，属于显著量级；若为某种加权得分，则需结合基线分数解读。阅读此类披露时，基线值、任务数量、评分脚本版本都是判断增益含金量的必要上下文，而目前公开信息中这些细节尚不完整。

递归改写的工程含义

"递归"是Harness2命名中的关键词，也是它区别于普通prompt优化工具的地方。框架不是做一次性的提示调整，而是把harness的改写结果再作为下一轮改写的输入，形成迭代。这要求框架具备对自身行为的评估能力，否则递归会迅速发散或陷入局部最优。

Apache-2.0的许可选择意味着商业使用没有障碍，这对于希望把该框架集成进生产Agent管线的团队是积极信号。开源也降低了复现门槛，社区可以尽快检验递归改写的边界条件。

测试时计算（test-time compute）的延伸：传统上，测试时计算指在推理阶段投入更多采样、搜索或验证（如 best-of-n、思维链扩展、树搜索）。Harness2 把这一思路从"对答案的搜索"扩展到"对 harness 结构的搜索"——计算花在改写并评估外壳上，而非直接生成更多候选答案。这也意味着其开销结构与采样类方法不同：成本主要来自对 harness 变体的反复评测，而评测本身又需要运行完整任务，因此总成本可能随递归深度近似线性甚至更高增长，这是评估其性价比时的关键变量。

值得关注的几个问题

测试时改写引入了额外的推理开销和不确定性。每次递归都需要评估当前harness的表现，这部分计算成本并未在披露中量化。另一个问题是稳定性：递归改写后的harness是否会在任务间产生行为漂移，需要更长期的评测数据。

对于正在构建Agent系统的团队，Harness2提供的思路比具体实现更值得借鉴——把harness视为可优化的变量而非固定的脚手架，可能是释放现有模型能力的一条低成本路径。