[控场AI]
概念Just-Enough Exploration Tuning

JET

一种针对仓库级问答智能体的微调方法,通过在信息充分处截断轨迹并插入带高损失权重的理由,训练智能体在信息足够时停止工具调用,缓解过度探索问题

时间轴 (近 90 天)

11月18日

论文《JET: Just-Enough Exploration Tuning for Efficient Tool-Calling Agents in Repository-Level Question Answering》提出了名为JET的微调方法,旨在训练智能体在信息足够时停止探索并回答问题。

待验证50%
11月18日

JET方法对训练轨迹进行截断:在信息变得充分的那一步停止,并插入一段解释停止原因的理由(rationale)。

待验证50%
11月18日

JET在微调时对插入的理由赋予更高的损失权重,以强化智能体对停止条件的学习。

待验证50%
11月18日

JET通过截断和理由增强,本质上是在SFT框架内引入对关键决策的强调,从而缓解SFT的缺陷。

待验证50%
11月18日

JET无需环境交互,仅通过监督信号实现效率优化。

待验证50%
11月18日

论文在两个仓库级问答基准上使用两个开源的80亿参数模型进行了实验。

待验证50%
11月18日

在自生成的轨迹上,JET将工具调用次数减少了11%到33%,同时基本保持了任务得分。

待验证50%
11月18日

在与SFT的对比中,JET在专家轨迹上实现了比SFT少18%到28%的工具调用,同时保留了SFT的大部分得分提升。

待验证50%
11月18日

JET在减少工具调用方面的效果在不同模型和基准上均表现一致,显示出泛化能力。

待验证50%
11月18日

JET的方法或许可以推广到其他需要多步工具调用的场景,例如网页导航、API调用等。

待验证50%

全部知识事实 (10)

来源文章