结构化思维链SCOPE：用可执行计算图重塑大模型推理

大语言模型的推理能力一直是研究热点，但传统的思维链（Chain-of-Thought, CoT）提示方法存在一个根本性矛盾：模型生成的推理步骤看似合理，却难以验证、生成成本高昂，且未必真正反映了模型的决策依据。最近一篇题为《Structural Chain-of-Thought: Reasoning with Executable Computational Graphs》的论文提出了一个颇具新意的解决方案——让模型不再输出自由文本推理，而是生成可执行的计算图，通过确定性执行来得到最终答案。

传统思维链的三大痛点

思维链提示通过让模型逐步展开推理过程来提升复杂任务的准确率，这一方法已被广泛采用。但它的问题同样明显。

可验证性差：自由文本形式的推理链条没有形式化结构，人类或自动化系统很难判断每一步是否逻辑自洽。一个看似流畅的解释可能在某处悄悄跳过了关键推导。

生成开销大：为了覆盖复杂推理，模型需要输出大量token，推理延迟和计算成本随之攀升。在需要实时响应的场景中，这成为实际部署的瓶颈。

忠实性存疑：已有研究反复表明，模型给出的推理链条有时只是“事后合理化”（post-hoc rationalization），即答案早已在内部确定，文字解释不过是事后编造的叙事。这意味着我们看到的推理过程，未必是模型真正“思考”的路径。

这三个问题相互关联：缺乏结构导致难以验证，难以验证又使得忠实性无法保证。

过程奖励模型（Process Reward Model, PRM） 是针对思维链推理中"结果导向奖励"局限而提出的一类方法。传统的强化学习或监督微调通常只对最终答案给予奖励或监督信号，而PRM则尝试对推理链中的每一个中间步骤进行打分，从而提供更密集的学习信号，帮助模型在长链推理中减少错误累积。PRM的典型构造方式包括人工标注每一步的对错、利用模型自动生成步骤级标签，或通过蒙特卡洛树搜索估计每步对最终正确答案的贡献。然而，PRM自身也面临挑战：步骤级标注成本高昂，奖励模型可能被"钻空子"（reward hacking），且自由文本推理的步骤边界本身模糊，导致评分标准难以统一。SCOPE用计算图节点替代自由文本步骤，在一定程度上绕开了"步骤难以界定"这一根本困难。

SCOPE的核心思路：从文本链到计算图

这篇论文提出的Structural Chain-of-Thought框架（可简称为SCOPE思路）从根本上改变了推理的表示形式。

模型不再生成一段自然语言的推理文本，而是构建一个有向计算图。图中的每个节点代表一个原子操作（如算术运算、逻辑判断、变量引用），边则定义了数据流动的方向。最终答案通过对该图进行确定性执行得到。

这种设计带来几个直接好处。首先，图的执行是确定性的，相同输入必然产生相同输出，消除了文本推理中的歧义。其次，计算图的结构可以被自动化验证——节点是否连通、是否存在循环依赖、类型是否匹配，这些都可以在生成阶段即时检查。第三，由于图结构紧凑，所需的生成token数量大幅减少。

有意思的是，这一思路与程序合成（program synthesis）领域的方法有相通之处，但SCOPE更强调与强化学习结合，让模型自主学会构建有效的计算图。

程序合成（Program Synthesis） 是计算机科学中的一个经典研究方向，目标是让系统自动生成满足给定规范的程序。早期方法基于形式化规约与搜索算法（如枚举、约束求解），近年则越来越依赖神经网络从输入输出示例中归纳程序。程序合成的关键优势在于产物是形式化、可执行的代码，天然具备可验证性和可重复执行性。SCOPE与程序合成的相通之处在于：两者都让模型输出结构化的、可执行的表示，而非自然语言。区别在于，传统程序合成通常面向通用编程语言，强调精确的输入输出规约；而SCOPE面向的是推理任务中的计算图，粒度更细、更贴近数学与逻辑推理的原子操作，并借助强化学习而非搜索或监督来训练生成策略。

训练方法：基于图的强化学习

SCOPE的训练采用了一种专门设计的强化学习方案，奖励信号由三部分构成。

结构有效性：生成的图必须是合法的计算图，不存在断裂的依赖关系或类型错误。这是最基本的门槛。

答案正确性：执行图后得到的答案是否与标准答案一致。这是最终目标的直接反馈。

节点重叠度：生成的图与参考图在节点层面的重合程度。这一奖励信号提供了更细粒度的指导，帮助模型不仅得到正确答案，还能以更接近人类解题思路的方式构建图。

三重奖励的加权组合驱动模型在探索中逐步优化其图生成策略。相比纯监督学习，强化学习允许模型在更大的图结构空间中搜索，有机会发现训练数据中未出现的有效推理路径。

GRPO（Group Relative Policy Optimization） 是近年来在大语言模型推理训练中被广泛采用的一种强化学习算法，最早由DeepSeek^广告团队提出。它的核心思想是：对同一问题采样多个回答，用组内相对排名来估计优势函数，从而避免训练一个与策略模型规模相当的价值网络（critic），大幅降低显存和计算开销。GRPO特别适合答案可自动验证的任务（如数学题），因为奖励信号可以直接由最终答案的正确性给出。本文中SCOPE与GRPO的对比，实际上是在比较"结构化图表示+三重奖励"与"自由文本+结果奖励"两种范式的效率差异。理解GRPO有助于读者把握SCOPE在训练效率上的改进来自何处。

实验表现：准确率提升与长度压缩

论文在五个基准测试和四个模型家族上进行了系统评估，结果呈现出两个突出特点。

准确率一致性提升：相比监督式图训练方法，SCOPE在多个基准上都取得了更高的准确率。跨模型家族的验证说明这一方法的有效性不依赖于特定模型架构。

生成长度大幅缩减：与标准GRPO和思维链监督训练相比，SCOPE将生成长度减少了5到6倍。考虑到推理成本与生成长度直接相关，这一压缩比例意味着显著的效率提升。对于需要大规模部署推理能力的场景，这种效率优势可能比准确率提升更具吸引力。

长度缩减的根本原因在于表示形式的改变：一个包含五步算术运算的计算图，其结构化表示可能只需要几十个token，而用自然语言描述同样的过程则可能需要数百个token。

忠实性实验：推理不再只是“表演”

论文中最引人注目的发现来自忠实性实验。

研究者发现，使用SCOPE方法训练的模型倾向于从生成的计算图中推导答案，而非像传统思维链那样先确定答案再编造解释。换句话说，计算图成为了模型推理的真实中介，而不仅仅是展示给用户的装饰。

这一结果的意义深远。如果模型的推理过程是忠实的，那么我们就获得了真正可审计的AI推理能力——当模型给出一个答案时，我们可以检查它构建的计算图，理解它究竟是如何得出结论的。这对于医疗诊断、法律分析、金融风控等高风险领域的AI应用来说，是走向可信部署的关键一步。

当然，忠实性的验证本身是一个复杂问题，论文的实验设计是否能完全排除其他解释，仍需后续研究进一步检验。但至少从当前证据来看，结构化推理表示确实改变了模型“依赖什么来作答”的行为模式。

事后合理化（Post-hoc Rationalization） 是思维链研究中一个被反复讨论的现象：模型在内部已经"决定"了答案，随后生成的推理文字只是对这一答案的事后解释，而非真正导致答案的原因。这与人类的"直觉先于理由"现象类似。研究者通常通过干预实验来检测忠实性，例如在推理链中故意引入错误步骤，观察最终答案是否随之改变；或者改变提示中的偏置信息，看推理链是否只是为已有偏置辩护。如果推理链是忠实的，那么修改中间步骤应当改变答案；如果只是事后合理化，答案往往保持不变。SCOPE的实验正是利用计算图的执行特性来检验这一性质——因为答案必须由图的执行产生，若模型绕过图直接"猜"答案，图的执行结果就会与输出不符，从而暴露不忠实行为。

对推理模型发展的启示

SCOPE框架的价值不仅在于具体方法的创新，更在于它指出了一个方向：让模型的推理过程具备形式化结构，从而变得可验证、可审计、可执行。

当前主流的大模型推理增强方法——无论是延长思维链、采样多条路径再投票，还是用过程奖励模型进行引导——大多仍在自由文本的框架内做优化。SCOPE则跳出了这个框架，用计算图这种更紧凑、更严格的表示来替代自然语言推理。

这种“结构化推理”的思路可能会影响未来推理模型的设计。当推理过程可以被编译和执行时，模型的能力边界和验证手段都将发生根本变化。当然，计算图表示也有其局限——对于常识推理、因果推断等难以形式化的任务，如何构建合适的图结构仍是一个开放问题。但对于数学推理、逻辑演绎、代码生成等结构化的任务领域，SCOPE展示的路径值得深入探索。