JET
一种针对仓库级问答智能体的微调方法,通过在信息充分处截断轨迹并插入带高损失权重的理由,训练智能体在信息足够时停止工具调用,缓解过度探索问题
时间轴 (近 90 天)
论文《JET: Just-Enough Exploration Tuning for Efficient Tool-Calling Agents in Repository-Level Question Answering》提出了名为JET的微调方法,旨在训练智能体在信息足够时停止探索并回答问题。
JET方法对训练轨迹进行截断:在信息变得充分的那一步停止,并插入一段解释停止原因的理由(rationale)。
JET在微调时对插入的理由赋予更高的损失权重,以强化智能体对停止条件的学习。
JET通过截断和理由增强,本质上是在SFT框架内引入对关键决策的强调,从而缓解SFT的缺陷。
JET无需环境交互,仅通过监督信号实现效率优化。
论文在两个仓库级问答基准上使用两个开源的80亿参数模型进行了实验。
在自生成的轨迹上,JET将工具调用次数减少了11%到33%,同时基本保持了任务得分。
在与SFT的对比中,JET在专家轨迹上实现了比SFT少18%到28%的工具调用,同时保留了SFT的大部分得分提升。
JET在减少工具调用方面的效果在不同模型和基准上均表现一致,显示出泛化能力。
JET的方法或许可以推广到其他需要多步工具调用的场景,例如网页导航、API调用等。
全部知识事实 (10)
论文《JET: Just-Enough Exploration Tuning for Efficient Tool-Calling Agents in Repository-Level Question Answering》提出了名为JET的微调方法,旨在训练智能体在信息足够时停止探索并回答问题。
50%待验证JET方法对训练轨迹进行截断:在信息变得充分的那一步停止,并插入一段解释停止原因的理由(rationale)。
50%待验证JET在微调时对插入的理由赋予更高的损失权重,以强化智能体对停止条件的学习。
50%待验证JET通过截断和理由增强,本质上是在SFT框架内引入对关键决策的强调,从而缓解SFT的缺陷。
50%待验证JET无需环境交互,仅通过监督信号实现效率优化。
50%待验证论文在两个仓库级问答基准上使用两个开源的80亿参数模型进行了实验。
50%待验证在自生成的轨迹上,JET将工具调用次数减少了11%到33%,同时基本保持了任务得分。
50%待验证在与SFT的对比中,JET在专家轨迹上实现了比SFT少18%到28%的工具调用,同时保留了SFT的大部分得分提升。
50%待验证JET在减少工具调用方面的效果在不同模型和基准上均表现一致,显示出泛化能力。
50%待验证JET的方法或许可以推广到其他需要多步工具调用的场景,例如网页导航、API调用等。
50%