ClueFlow：用归因状态转移破解长程搜索难题

长程搜索任务要求AI智能体在开放环境中持续获取证据，并将碎片信息整合成不断演进的研究状态。现有方法要么只维护状态来指导探索，要么给每轮交互一个进度信号，但很少有人追问：这些信号到底该挂在哪个具体的状态变化上？ClueFlow给出的答案是——让每一次证据获取、每一次状态更新都可归因、可追溯。

长程搜索的监督困境：信号有了，归属不清

在BrowseComp这类需要多步检索的基准上，智能体往往要执行几十次浏览器操作才能拼出答案。传统做法是维护一个“研究状态”来记录已收集的证据和候选答案，再据此引导下一步探索。问题在于，当最终答案正确或错误时，我们很难判断到底是哪几次检索动作起了作用。

ClueFlow的出发点很直接：如果每次状态变化都能追溯到触发它的浏览器动作，以及最终答案对这个变化的依赖关系，那么监督信号和信用分配就有了明确的对象。论文将这种结构称为“Source-State-Final归因链”——源动作、状态更新、最终答案三者之间形成可验证的因果链条。

信用分配（Credit Assignment） 是强化学习与序列决策中的核心难题：当一条包含数十步动作的轨迹最终获得一个标量奖励时，如何判断哪几步动作真正贡献了这个结果，并为它们分配相应的学习信号。在长程搜索场景下，这一问题尤为尖锐——奖励往往只在轨迹末端给出，中间数十次检索、点击、翻页动作缺乏即时反馈，导致梯度信号极其稀疏。传统做法是把整条轨迹视为一个整体来优化，或按轮次平均分配优势值，但这会让真正关键的检索动作与无关的冗余操作获得相同权重。ClueFlow所强调的“归因”本质上就是在动作粒度上重建信用分配路径，使每个状态变化都能回溯到具体的源动作，从而把稀疏的终端奖励拆解为更细粒度的学习目标。

归因链如何运作：从执行到验证的闭环

ClueFlow在执行搜索时，会记录两类信息：带类型的状​​态变化（Evidence更新、Candidate更新）和可能支撑这些变化的浏览器动作。执行结束后，系统通过“金标准条件语义验证”和“来源追溯”来判定哪些状态变化是真正有用的。

这套归因机制同时服务于两个训练阶段。在监督微调（SFT）阶段，归因结果决定哪些决策应该被监督——只对与金标准一致的状态变化及其原始交互上下文进行学习，而不是对所有轮次一视同仁。在Turn-PPO阶段，同样的归因链被用来增强基于结果的轮次优势值，把信用沿着Source-State-Final链条精确分配下去。

论文中一个容易被忽略但很有价值的细节是：即使整条轨迹的最终答案是错的，只要其中某些状态变化与金标准一致，过渡级验证也能从中回收有用的监督信号。这相当于把“失败轨迹”里的局部正确行为也利用了起来。

Turn-PPO 是PPO（近端策略优化）在轮次交互场景下的变体：把智能体的一次完整交互轮次（如一次搜索加一次状态更新）而非单个token作为策略优化的基本单元，轮次优势值由该轮之后的最终结果反推。标准Turn-PPO只使用结果奖励来估计每一轮的优势，所有轮次共享同一个基于最终答案的信号。ClueFlow的做法是在这个结果优势值之上，叠加由Source-State-Final归因链提供的过渡级信号，相当于给每一轮的优势估计增加了一个与金标准对齐的修正项。这样，即使两条轨迹最终答案相同，归因链也能区分出哪些轮次的证据获取真正推进了研究状态，从而让策略更新更集中于高价值轮次，减少对无效探索的强化。

实测表现：更少token，更高准确率

ClueFlow在两个Qwen骨干模型和四个搜索基准上做了评估，覆盖实时网页和固定语料两种设置。据论文报告，SFT阶段带来一致提升，PPO阶段进一步提升。在Qwen3.5-35B-A3B上，ClueFlow在BrowseComp上达到60.0%准确率，在BrowseComp-Plus上达到72.0%。

更值得关注的是受控实验的对比数据。在BrowseComp-Plus上，归因引导的SFT仅用约30%的训练token，就匹配了全轮次精确上下文SFT的效果；而归因引导的PPO比仅用结果的PPO高出4.1个百分点。这两个数字说明，归因机制带来的不只是效果增益，还有显著的训练效率优势。

BrowseComp 与 BrowseComp-Plus 是评估长程网页搜索智能体的代表性基准。BrowseComp由OpenAI提出，题目设计为需要多跳检索、交叉验证才能得出的冷门事实性问题，答案唯一但检索路径开放，直接考察智能体在真实网页环境中的持续探索与信息整合能力。BrowseComp-Plus则是在其基础上构建的受控版本，使用固定语料替代实时网页，以消除网络波动和页面变动带来的评测噪声，便于进行可复现的对比实验。两者结合正好覆盖了论文所说的“实时网页”与“固定语料”两种设置：前者检验真实部署条件下的表现，后者用于严谨的消融与效率对比，这也是ClueFlow能给出token效率与百分点增益等精确数据的前提。

为什么状态转移归因值得关注

ClueFlow的核心贡献在于把“信用分配”从轮次粒度下沉到状态变化粒度。对于长程搜索智能体来说，这意味着训练信号更稀疏但更精准，模型学到的是“哪类证据获取动作导致了哪类状态演进”，而不是笼统地模仿整条轨迹。

从工程角度看，归因链的构建依赖执行后的语义验证和来源追溯，这带来了一定的额外计算开销，但论文的token效率数据表明这笔开销在训练阶段是划算的。对于需要部署搜索智能体的团队而言，ClueFlow提供了一条可复现的路径：先定义清晰的状态类型，再让归因机制自动筛选高价值监督信号。

论文地址：arXiv上可检索ClueFlow: Learning Long-Horizon Search through Attributed Research-State Transitions。