[控场AI]
· 4 分钟阅读· 2,237 字

JET微调法:让代码库问答AI学会“适可而止”

JET微调法:让代码库问答AI学会“适可而止”

JET微调方法通过截断轨迹和理由增强,训练代码库问答智能体及时停止工具调用,减少过度探索。

本文介绍了一种名为JET的微调方法,旨在解决仓库级问答中LLM智能体的过度探索问题。过度探索指智能体在信息已充足时仍继续调用工具,增加推理成本。JET通过截断专家轨迹至信息充分点,并插入解释停止理由的文本,且对理由赋予更高损失权重,从而训练智能体学会适时停止。实验表明,JET在保持任务得分的同时,将工具调用次数减少11%-33%,并缓解了SFT传播过度探索行为的缺陷,具有泛化潜力。

在代码库级别的问答任务中,基于大语言模型(LLM)的智能体需要调用工具探索代码仓库,并在收集到足够信息后给出答案。然而,一个普遍存在的问题是:智能体往往在信息已经充足的情况下仍继续调用工具,造成不必要的开销。近日,一篇题为《JET: Just-Enough Exploration Tuning for Efficient Tool-Calling Agents in Repository-Level Question Answering》的论文提出了一种名为“Just-Enough Exploration Tuning”(JET)的微调方法,旨在训练智能体学会“适可而止”,在信息足够时及时停止探索并回答问题。

JET论文来源截图

问题:过度探索(Over-exploration)

论文指出,在仓库级问答中,智能体通过工具(如代码搜索、文件读取等)探索代码库。理想情况下,一旦收集的信息足以回答问题,智能体就应停止调用工具并生成答案。但实际观察发现,LLM智能体常常在信息已经充分后仍继续调用工具,这种现象被称为“过度探索”。

过度探索不仅增加了工具调用的次数,还延长了推理时间,导致更高的推理成本。更棘手的是,现有的监督微调(SFT)方法虽然能提升任务性能,但SFT在专家轨迹上训练时,会将轨迹中的过度探索行为一并“传染”给智能体,从而加剧这一问题。

监督微调(SFT)是训练LLM智能体的常用方法,它通过在专家轨迹(即人类或强模型生成的正确操作序列)上进行最大似然估计,使模型模仿专家行为。然而,专家轨迹本身可能包含冗余操作(如重复搜索、不必要的文件读取),SFT会将这些低效行为一并学习,导致智能体在推理时过度探索。此外,SFT的损失函数平等对待轨迹中的每个token,无法区分关键决策点(如停止时机)与普通操作,因此难以纠正过度探索。JET通过截断轨迹并插入理由,并赋予理由更高的损失权重,本质上是在SFT框架内引入对关键决策的强调,从而缓解SFT的缺陷。

JET方法:截断与理由增强

为了解决过度探索,JET的核心思想是在训练阶段就教会智能体“何时停止”。具体来说,JET对每条训练轨迹进行截断:在信息变得充分的那一步停止,而不是让轨迹继续到自然结束。然后,JET插入一段“理由”(rationale),解释为什么在该步骤信息已经足够,可以回答问题。在微调时,JET对这段理由赋予更高的损失权重,从而强化智能体对“停止条件”的学习。

这种方法不同于简单的提前停止策略,它通过显式的理由解释,让模型理解“足够”的含义,而不仅仅是机械地截断。JET的训练过程仍然基于专家轨迹,但通过截断和理由增强,避免了过度探索行为的传播。

损失权重是训练时对每个token的损失值进行加权的系数,用于强调某些关键部分。在标准SFT中,所有token的损失权重相同;而JET对插入的理由部分赋予更高的权重,使模型在训练时更关注这些解释“为何停止”的文本,从而强化对停止条件的学习。这种加权策略属于代价敏感学习的一种,通过调整损失函数来引导模型优先学习重要信息。类似地,在强化学习中也有通过奖励塑形强调关键行为的方法,但JET无需环境交互,仅通过监督信号实现效率优化。

实验结果:显著减少工具调用

论文在两个仓库级问答基准上进行了实验,使用了两个开源的80亿参数模型。结果显示,在自生成的轨迹上,JET将工具调用次数减少了11%到33%,同时基本保持了任务得分。在与SFT的对比中,JET在专家轨迹上实现了比SFT少18%到28%的工具调用,同时保留了SFT的大部分得分提升。两种情况下,JET都降低了推理成本。

这些结果表明,JET能够有效缓解过度探索问题,在几乎不损失性能的前提下提升效率。尤其有意思的是,JET在减少工具调用方面的效果在不同模型和基准上均表现一致,显示出其泛化能力。

仓库级问答(Repository-Level QA)要求智能体理解整个代码库的结构、依赖和逻辑,而非仅回答关于单个文件的问题。常见基准包括RepoQA、CodeRepoQA等,它们通常提供真实代码仓库和自然语言问题,评估智能体定位相关代码并生成答案的能力。这类任务需要多步工具调用(如搜索函数定义、查看调用关系、阅读文档),因此探索效率至关重要。JET在这类基准上的实验表明,减少工具调用次数不会显著影响答案质量,说明智能体在信息足够时停止是可行的。

启示与展望

JET的提出为构建更高效的代码库问答智能体提供了新思路。传统的SFT方法虽然能提升性能,但会继承数据中的低效行为;而JET通过截断和理由增强,主动纠正了这种偏差。未来,类似的方法或许可以推广到其他需要多步工具调用的场景,例如网页导航、API调用等。

此外,JET也提醒我们,在训练智能体时,不仅要关注最终答案的正确性,还要关注推理过程的效率。随着LLM智能体在复杂任务中的应用越来越广泛,如何让它们“聪明地停止”将成为一个重要的研究方向。

论文信息:JET: Just-Enough Exploration Tuning for Efficient Tool-Calling Agents in Repository-Level Question Answering(来源:rss)

#JET微调#工具调用智能体#仓库级问答#过度探索#监督微调#代码库问答#LLM智能体
分享:

相关推荐