[控场AI]
· 5 分钟阅读· 2,987 字

Harness²:让AI智能体自我进化,无需真实标注也能提升11.5分

Harness²:让AI智能体自我进化,无需真实标注也能提升11.5分

Google Research开源Harness²,让智能体在任务中递归进化自身执行框架,无需真实标注即提升11.5分。

Harness² 是 Google Research 开源的即插即用递归智能体增强框架,核心主张是让智能体在完成任务的同时自动优化其“执行框架”(提示词、工具集、记忆机制),而非依赖开发者预先手工设计。它采用双重递归:任务层通过 Propose-Probe-Compose 循环,提出方案、借环境反馈探测、再组合成更优解;框架层则跨任务积累可复用的经验并作为先验注入后续任务。该框架不依赖真实标注验证器,而以环境自然反馈作为隐式监督,在 WorkBuddy-Bench 上报告最高 +11.5 分提升。其价值在于降低智能体开发门槛,适用于开放世界任务、快速原型与持续学习场景,但计算开销与经验跨域迁移的边界仍是主要局限。

Harness²:让AI智能体自我进化,无需真实标注也能提升11.5分

在AI智能体(Agent)的研究中,一个核心矛盾日益凸显:我们希望智能体能在开放世界中自主完成任务,却又不得不依赖人工设计的提示词、工具集和记忆机制——而这些“执行框架”(harness)往往固定不变,难以适应新任务。Google Research 最新开源的 Harness² 框架,试图用“递归”的思路打破这一僵局:不仅让智能体完成任务,更让它在任务中自动进化自己的执行框架。

Harness² Product Hunt 页面

什么是 Harness²?

Harness² 是一个即插即用的递归智能体增强框架(recursive agent harnessing framework)。它的核心主张是:先驾驭智能体,再驾驭它的自我改进能力。与传统的智能体开发范式不同,Harness² 不要求开发者预先定义一套完美的提示词、工具和记忆策略,而是让智能体在任务执行过程中自动优化这些组件。

该框架在 Product Hunt 上以开源形式发布,定位为开发者工具与人工智能交叉领域的创新产品,获得了 108 票支持,位列当日排行榜第三。其 Makers 包括 Han Yu 等研究者,代码已在 GitHub 上公开。

智能体执行框架(harness) 指围绕大语言模型(LLM)构建的一整套外部支撑组件,通常包括系统提示词(system prompt)、可调用的工具集(function/tool calling)、上下文与记忆管理、输出解析与重试逻辑等。模型本身只负责生成 token,而 harness 决定了它能感知什么、能做什么、如何把多步行动串起来。在 AutoGPT、ReAct 等早期形态中,harness 完全由开发者手工编写,任务一变往往就要重调提示词和工具描述。Harness² 的命名正源于此:对 harness 再做一层 harness,即用外层机制自动优化内层执行框架,把原本静态的工程配置变成可学习的对象。

双重递归:任务层与框架层的协同进化

Harness² 最核心的设计是“双重递归”(Dual recursion)机制。它同时在两个层面上运行优化循环:

任务层递归:Propose-Probe-Compose

在单个任务内部,智能体通过“提议-探测-组合”(Propose-Probe-Compose)的循环来精炼其执行策略。具体来说,智能体先提出一个初步的行动方案,然后通过实际执行来探测环境反馈,最后将有效的步骤组合成更优的解决方案。这个过程不需要真实标注(ground-truth verifier),而是依赖任务本身的可观测结果进行自我评估。

真实标注验证器(ground-truth verifier) 指在智能体优化或强化学习中,用一个能给出“标准答案对错”的外部评判器来计算奖励或筛选轨迹。它可以是人工标注的答案,也可以是单元测试、规则校验器或强模型评委。这类验证器的局限在于:开放世界任务(如网页导航、文档整理)通常没有唯一正确答案,构建覆盖全面的验证器成本极高,且容易把智能体训练成“应试”而非泛化。无标注自我改进的思路,就是绕过验证器,改由环境自身的可观测反馈(执行是否成功、结构是否自洽、后续步骤是否顺畅)提供弱监督信号,以降低对昂贵人工标注与强外部评判器的依赖。

框架层递归:经验的累积与复用

在任务之间,Harness² 会积累可复用的经验。每次任务执行后,智能体不仅保存任务结果,还记录下哪些提示词结构、工具调用模式、记忆组织方式更有效。这些经验被抽象为可迁移的“框架知识”,在后续任务中作为先验知识注入,使智能体的执行框架逐步进化。

这种双重递归的设计,让智能体既能解决眼前的问题,又能越用越聪明。Google Research 在专业基准测试 WorkBuddy广告-Bench 上报告了最高 +11.5 分的性能提升,验证了框架的有效性。

经验蒸馏与上下文注入 是框架层递归的实现基础。所谓“框架知识”,通常是以自然语言形式存下来的可复用片段,例如“这类任务先检索再归纳更有效”“调用某工具前应先确认参数格式”。与模型权重更新(微调)不同,这类经验不改变模型参数,而是在后续任务的提示词或上下文里被动态拼接进去,因此也被称为“上下文学习式”的持续学习。它的优势是无需重新训练、可解释、可人工审阅;代价则是受上下文窗口长度限制,经验库过大时需要检索、压缩与筛选机制,否则会引入噪声甚至相互冲突的指导。

无真实标注的自我改进如何实现?

传统的智能体优化方法往往依赖人工标注的正确答案或奖励信号,这在开放世界任务中几乎不可行。Harness² 的突破在于,它利用任务环境的自然反馈作为隐式监督信号。

例如,在代码生成或文档处理任务中,智能体可以通过执行结果(代码是否运行、文档结构是否合理)来判断方案优劣,而不需要人工标注的“标准答案”。Propose-Probe-Compose 循环本质上是一种基于环境反馈的搜索策略,而框架层递归则将这些搜索经验蒸馏为可复用的模式。

这带来一个重要启示:智能体的自我改进不一定需要强大的外部验证器,环境本身就可以成为老师。当然,这种方法的有效性取决于环境反馈的质量和丰富度,在反馈稀疏或噪声较大的场景中可能面临挑战。

对开发者意味着什么?

Harness² 以“即插即用”为卖点,意味着开发者不需要从零构建复杂的智能体优化系统,而是可以将现有智能体接入该框架,让其自动进化。这对于以下场景尤其有价值:

  • 开放世界任务:如网页导航、文件管理、多步骤信息检索等缺乏明确奖励信号的任务。
  • 快速原型开发:开发者无需手动调优提示词和工具链,框架会自动探索有效配置。
  • 持续学习系统:智能体在长期运行中不断积累经验,适应变化的环境。

该框架已在 GitHub 上开源,开发者可以自由查看实现细节并集成到自己的项目中。Product Hunt 上的评论虽然不多,但关注者普遍对其“无需真实标注”的自我改进能力表示兴趣。

局限与展望

Harness² 目前主要在 WorkBuddy-Bench 等专业基准上验证,其在更广泛、更嘈杂的真实世界任务中的表现仍有待观察。双重递归带来的计算开销也是一个实际问题——每个任务都需要多轮探测和组合,框架层还需要维护经验库,这对推理成本提出了更高要求。

此外,经验的可迁移性存在边界。在一个任务领域积累的框架知识,能否有效迁移到截然不同的领域,取决于经验抽象的粒度。Google Research 的论文(如有)可能会进一步讨论这些限制。

总体而言,Harness² 提出了一个引人注目的方向:让智能体的执行框架本身成为可学习、可进化的对象。这不仅是技术上的创新,也改变了我们设计智能体系统的方式——从“精心设计”转向“设计一个会自我设计的系统”。对于关注 AI 智能体前沿的开发者来说,这是一个值得深入研究的开源项目。

分享:

相关推荐