测试时推理审计：表观搜索增益与选择失败的真相

在结构化工作流规划中，测试时搜索方法常被宣称能提升模型性能。然而，当不同方法在提示、后处理和选择策略上存在差异时，观察到的增益究竟应归因于什么？一项在 DisasterBench 上的研究通过将推理分解为三个可观察阶段——是否发现正确工作流、是否通过结构验证、是否最终被选择——对这一模糊问题进行了深入审计。

拆解推理管线：三个阶段

研究将推理过程明确划分为发现、验证与选择三个环节，并在两个模型家族上比较了三种方法：独立采样、名义上的树搜索配置，以及多算子搜索，同时控制推理预算。这种分解使得研究者能够精确定位性能变化的来源，而不是笼统地归因于“搜索”。

发现阶段：名义树搜索实为非自适应采样

一个关键发现是，所谓的树搜索配置实际上实现的是非自适应完整工作流采样。使用其扩展提示的独立采样，无需构建树就能复现出相同的候选发现结果。这意味着，树搜索的“结构”并未在发现阶段带来实际优势——增益可能来自提示设计，而非搜索算法本身。

非自适应采样（Non-adaptive Sampling） 指候选生成过程不依赖中间反馈或剪枝，所有候选路径独立生成、互不影响。与之相对，自适应树搜索会根据中间节点的评估结果动态决定扩展或回溯。研究中所谓的“树搜索”配置实际未实现自适应分支，因此其候选发现过程等价于用扩展提示进行独立多次采样。这解释了为何独立采样能复现相同发现结果——结构本身未贡献额外信息，增益来自提示设计。

验证阶段：结构验证从未移除最后的正确工作流

在被评估的候选池中，结构验证从未移除掉最后一个正确工作流。这听起来像是个好消息，但研究进一步揭示了选择阶段的严重问题。

测试时搜索（Test-time Search） 指在模型推理阶段（而非训练阶段）通过额外计算资源探索多个候选输出，并从中选择最优解的方法。常见形式包括独立采样（多次独立生成后聚合）、树搜索（如思维树 ToT，通过分支与回溯构建推理路径）以及多算子搜索（组合不同推理算子）。这类方法的核心假设是：更多的推理尝试能提升最终答案质量。但实际效果高度依赖候选生成多样性、验证器可靠性以及选择策略的准确性。

选择失败：多数投票的盲点

多数投票策略在设计上是为了聚合多个候选，但研究发现，它在每个池中会导致 10-19% 的任务中已经发现的正确工作流未被选中。更严重的是，对 60 个案例的审计确认，其中 57 个存在实质性的工具选择或信息流错误。换言之，多数投票常常因为表面上的共识而忽略了真正正确的选项。

验证器的两难：修复与误判并存

研究还测试了一种工具规格感知的验证器，它能够挽回部分损失，但令人意外的是，它推翻正确决策的数量多于修复的数量。这一发现指出，当前验证器的设计可能过于激进，在纠错的同时引入了新的错误。

多数投票（Majority Voting） 是一种常用的候选聚合策略：对多个候选答案进行投票，得票最多者胜出。其隐含假设是正确候选会形成共识。但在结构化工作流规划中，错误候选可能因共享相似错误模式而聚集，导致“表面共识”压倒正确但少数的候选。研究中 10-19% 的任务因此未被选中，说明多数投票对候选池的多样性分布敏感，不能简单视为可靠的选择机制。

启示：审计实际推理管线，分别报告各阶段指标

这项研究强烈建议，评估测试时推理时应审计实际运行的管线，而不是名义上的配置，并分别报告发现、有效性和选择三个阶段的指标。只报告最终准确率会掩盖选择阶段的失败，导致对方法效果的误判。对于构建可靠结构化工作流规划系统的开发者和研究者而言，这一审计框架提供了更清晰的诊断视角。

研究还指出，提示设计在发现阶段扮演重要角色，而选择策略的改进可能是提升整体性能的关键。未来工作可以探索更鲁棒的选择机制，减少对表面共识的依赖。