GraphEvoResearcher：图感知自反思推理，多跳QA成本减半

多跳问答（Multi-hop QA）要求模型在串联中间结论的同时控制成本。现有的免训练自反思协议（生成→批判→修正）虽然提升了准确率，但操作在扁平的令牌流上：修正无法定位具体哪一步不可靠，早停也无法利用结构收敛信号。GraphEvoResearcher 提出了一种免训练协议，将自反思元奖励提升到显式推理图上——节点是中间结论/证据，边编码支持、矛盾和依赖关系。

从扁平反思到图结构推理

传统自反思方法让模型生成答案、自我批判、再修正，循环往复。问题在于，整个推理过程被压缩成线性文本，模型很难回溯到出错的具体环节。GraphEvoResearcher 的核心洞察是：把推理过程组织成图，让每个中间结论成为节点，结论之间的逻辑关系成为边。

这种图结构带来两个直接好处。第一，修正时可以精确定位不可靠的节点，而非重写整段推理。第二，当证据分支收敛到单一结论时，可以安全地提前停止，不必耗尽预算。

论文作者写道：“修正无法识别哪一步先验不可靠，早停也无法利用结构收敛。”这正是图感知方法的切入点。

免训练自反思协议指不更新模型参数、仅在推理阶段通过提示或流程设计让模型自我检查与修正的方法，典型代表是“生成→批判→修正”循环（如 Self-Refine）。它依赖 LLM 的指令遵循与自我评价能力，无需标注数据或微调成本，但所有中间状态都以线性文本形式存在于上下文中，缺乏显式的步骤索引，因此批判往往只能给出笼统的“整体有问题”，难以指认具体哪一步推理出错，也难以判断何时可以安全停止。GraphEvoResearcher 把这一协议从文本序列迁移到图结构，正是为了给反思提供可定位、可度量的操作对象。

图感知元奖励与结构信号

GraphEvoResearcher 设计了一个图感知元奖励函数，综合五类信号来决定下一步动作——修正、回溯还是停止。

• 正确性：答案是否与参考答案一致
• 效率：消耗的步骤和节点数是否在预算内
• 反思质量：批判是否指向具体问题
• 多样性：推理路径是否覆盖不同分支
• 结构信号：连通性、无环性、分支覆盖率和路径收敛度

四个结构信号是这套方法的关键增量。连通性衡量图是否完整连贯，无环性防止循环论证，分支覆盖率反映探索广度，路径收敛度则指示是否已到达可信结论。这些信号共同构成一个可计算的停止准则。

**元奖励（meta-reward）**在此指的不是任务本身的正确性得分，而是对“推理过程质量”的评估信号，用于决定下一步采取修正、回溯还是停止等元动作。在多跳问答中，最终答案正确与否是稀疏且滞后的反馈，而元奖励可以在中间步骤提供密集信号。GraphEvoResearcher 将元奖励定义在图之上，把正确性、效率、反思质量、多样性与结构信号加权组合，使停止决策不再依赖固定的步数上限或模型主观判断，而是由可计算的图属性触发。这种设计把“何时停”从启发式规则转化为优化问题的一个可观测判据。

实验表现：难题上的增益最明显

在 DeepSeek^广告 真实 LLM 上，研究者在 GSM8K、MATH 和 BBH 三个基准上各取 50 个样本进行评测。GraphEvoResearcher 分别达到 98%、92% 和 82% 的准确率，在所有基线中最高。

增益分布值得关注。在最难的 MATH 数据集上，该方法比单次生成提升 24 个百分点，比扁平反思提升 12 个百分点。而在相对简单的 GSM8K 上，提升空间本来就有限。这说明推理图的结构信号恰恰在单步推理不可靠时最有价值。

成本方面，构建过程保持在约 2 步、4.5–5 个节点的水平，远低于穷举式反思的消耗。

GSM8K、MATH 与 BBH 是三个常用的推理评测基准，难度梯度明显。GSM8K 为小学数学应用题，通常 2–8 步即可求解，单次生成已能取得较高准确率；MATH 涵盖竞赛级数学题，步骤更长、分支更多，单步推理出错概率显著上升；BBH（BIG-Bench Hard）则包含 23 类需要多步符号操作或策略推理的任务，考察组合泛化能力。正因为 MATH 与 BBH 的中间步骤更易出错、更依赖串联多个子结论，图结构提供的定位与收敛信号才有更大发挥空间，这也解释了增益为何集中在较难数据集上。

免训练协议的意义与局限

GraphEvoResearcher 延续了免训练自反思的路线，不需要微调模型，直接通过推理时的协议设计提升表现。图结构的引入让反思从“重写全文”变成“定点修复”，这是效率提升的根本原因。

需要留意的是，实验规模为每个数据集 50 个样本，结论的统计稳健性有待更大规模验证。此外，图构建本身依赖 LLM 正确抽取节点和边关系，抽取错误可能传导至后续决策。该方法在 DeepSeek 上的表现能否迁移到其他模型，原文未做跨模型对比。

尽管如此，将结构信号纳入自反思决策的思路，为成本敏感的多跳推理场景提供了一个可复用的框架。