回合级Best-of-N采样：LLM智能体推理时扩展新策略

引言：为什么智能体需要推理时扩展？

大型语言模型（LLM）智能体在长期任务中常因单步决策失误导致整体失败。传统方法依赖训练阶段优化，但推理时扩展（inference-time scaling）提供了一种轻量替代方案。近期一篇论文提出回合级Best-of-N采样（Turn-Level Best-of-N Sampling），通过生成器-选择器框架提升智能体在复杂任务中的表现。

推理时扩展（inference-time scaling）指在模型推理阶段通过增加计算量来提升输出质量，而不修改模型参数。常见形式包括思维链（Chain-of-Thought）、自洽性采样（self-consistency）、以及Best-of-N采样等。与训练时扩展（如增大模型规模或增加训练数据）相比，推理时扩展更灵活、部署成本更低，尤其适合无法频繁重训练的场景。对于LLM智能体而言，长期任务中每一步决策都可能影响后续状态，因此在关键决策点投入额外计算进行候选生成与筛选，是一种自然的扩展思路。

方法：生成器-选择器框架如何工作？

该研究采用两个LLM：生成器在每个回合生成N个候选动作，选择器从中挑选一个执行。与Zainullina等人（2025）使用批评模型进行引导搜索不同，本文评估现成的开源权重LLM是否能直接比较候选动作。这种方法不依赖额外训练，仅靠推理时计算即可实现性能提升。

与相关工作的差异

先前工作（如Zainullina等）依赖专门的批评模型进行引导搜索，而本研究探索通用开源LLM作为选择器的可行性。这种设计降低了部署门槛，因为无需训练额外的奖励模型或批评模型。

Best-of-N采样是一种经典的推理时扩展技术：对同一输入生成N个候选输出，再用某种评分机制选出最优的一个。在智能体场景中，"回合级"意味着在每个决策回合（而非整条轨迹结束时）执行采样与选择，从而及时纠正单步错误。生成器-选择器框架中，生成器负责产生多样化的候选动作，选择器则充当评分函数。选择器可以是奖励模型、批评模型，也可以是通用LLM通过提示进行比较判断。本文的关键差异在于使用现成的开源权重LLM直接比较候选动作，避免了训练专用选择器的开销。

实验结果：准确率与一致性双提升

在长期终端任务上的实验表明，回合级Best-of-N采样带来显著性能改进：准确率提升5-10%，重复尝试的一致性也明显增强。分析智能体轨迹发现，智能体行为向理想模式转变，例如减少尝试次数、更好遵循任务指令、增强调试和测试行为。

行为模式的变化

轨迹分析显示，智能体不再频繁试错，而是更系统地解决问题。调试和测试行为的增加表明智能体在任务执行中更注重验证，这可能是准确率提升的关键因素。

轨迹分析（trajectory analysis）是评估智能体行为质量的重要手段，通常通过检查智能体与环境交互的完整记录（包括动作序列、观察结果和中间推理）来识别行为模式。常见的分析维度包括：尝试次数、指令遵循程度、调试行为（如检查错误日志、重试失败命令）、测试行为（如运行验证脚本）等。轨迹分析不仅能解释性能提升的来源，还能揭示智能体在哪些环节容易出错，为后续改进提供方向。本文正是通过对比采样前后的轨迹，发现智能体行为向更系统化的模式转变。

深度分析：推理时扩展的潜力与局限

该方法的核心优势在于简单有效：无需额外训练，仅通过采样和选择即可提升性能。然而，选择器的能力至关重要——如果选择器无法准确比较动作优劣，整个框架的效果会打折扣。此外，计算成本随N增加而上升，需要权衡性能与效率。

对智能体设计的启示

回合级采样将推理时扩展从整个轨迹层面细化到每个决策点，这更符合长期任务的特性。未来可探索更高效的选择器设计，或将此方法与其他推理时扩展技术结合。

结论

回合级Best-of-N采样为LLM智能体提供了一种实用的推理时扩展方案，在准确率和一致性上均带来可衡量的提升。其无需训练、即插即用的特点使其具备较高的应用价值。