[控场AI]
· 4 分钟阅读· 2,025 字

GLOBE:几何引导的推理早停,输出减半不损精度

GLOBE:几何引导的推理早停,输出减半不损精度

GLOBE 用无需训练的在线早停,靠试探分支与球面轨迹几何判断 CoT 何时该停。

文章介绍了一种名为 GLOBE 的无需训练在线早停算法,用于缓解大模型思维链中的"过度思考"问题。GLOBE 采用双阶段机制:先在独立分支生成简短试探答案,置信度超阈值即停止主流程;若未通过,则将推理片段嵌入单位球面形成语义轨迹,当轨迹反复改变方向、净进展很小时判定陷入僵局并终止生成。在五个覆盖数学推理、工具调用与智能体记忆的基准上,GLOBE 实现输出 token 减少 49.7%、端到端时延降低 51.0%,平均准确率 80.58% 与完整 CoT 持平。文章认为,几何轨迹信号比单步置信度更透明、更易在线计算,为 CoT 推理效率优化提供了低成本可插拔路径。

思维链(CoT)能提升大模型解题能力,但模型常在答案已可达后继续“过度思考”,既增加推理成本,又可能把正确中间结果改错。针对这一痛点,研究者提出 GLOBE——一种无需训练的在线早停算法,通过分析语义轨迹的几何形状来判断何时停止生成。

GLOBE 论文标题示意图

过度思考:CoT 的隐性成本

CoT 通过让模型生成中间步骤来提升复杂任务表现,但并非步数越多越好。论文指出,模型往往在正确答案已经可达时仍继续生成,这些额外步骤直接推高服务成本;更微妙的是,后续步骤可能覆盖掉原本正确的中间结果,反而拉低准确率。

现有早停方法多依赖答案置信度或固定启发式规则,缺乏对推理过程整体走向的刻画。GLOBE 的切入点不同:它不只看单步置信度,而是把推理片段映射到单位球面上,观察整条语义轨迹的“形状”。

思维链(Chain-of-Thought, CoT) 是一种提示与推理范式:让模型在给出最终答案前,显式生成一系列中间推理步骤,从而把复杂问题分解为可管理的子问题。Wei 等人于 2022 年提出的这一方法在数学应用题、符号推理和多跳问答上显著提升了准确率,并衍生出零样本 CoT、自洽性投票(Self-Consistency)等变体。CoT 的代价是推理时生成的 token 数量成倍增长,因此"何时停止"成为推理效率优化的核心问题之一。

单位球面嵌入 是 GLOBE 轨迹分析的基础:将每一段推理文本通过嵌入模型映射为高维向量后,再做 L2 归一化,使其落在半径为 1 的单位球面上。归一化消除了向量模长的影响,使相似度可由内积或余弦距离直接度量;轨迹上相邻点之间的方向变化(夹角)因此成为衡量"语义是否推进"的直观指标。

两阶段机制:先试探,再看轨迹

GLOBE 的核心是一个双阶段在线控制流程,全程无需额外训练。

试探阶段:分支生成短答案

算法先在独立分支中生成简短的试探性答案,并与主生成流并行。若试探答案的置信度超过设定阈值,主流程立即停止并采纳该答案。这一步用低成本探测“当前是否已经足够解题”。

若试探未通过,生成继续进行,进入轨迹阶段。

轨迹阶段:识别方向反转

GLOBE 将每个完成的推理片段嵌入为单位球面上的一个点,随着片段累积形成一条语义轨迹。当这条路径反复改变方向、净进展很小时,算法判定推理已进入“原地打转”状态,随即终止生成。这种几何信号比单纯看置信度更贴近推理的实际行为模式。

两阶段结合,使 GLOBE 既能抓住“答案已现”的时刻,也能识别“继续想也没用”的僵局。

语义轨迹的方向反转 指相邻推理片段的嵌入向量在球面上夹角接近或超过 90 度,即后一片段不再沿前一阶段的方向推进。若在连续多个片段上累计方向变化大而净位移小,说明推理在高维语义空间中绕圈而非前进。这一判据与"净进展"结合使用,可以区分"合理回溯验证"与"无效重复":前者通常伴随净位移的持续累积,后者则表现为位移停滞。

实验结果:token 减半,精度持平

论文在五个基准上评估 GLOBE,覆盖数学推理、工具调用和智能体记忆等任务,并在两个模型上验证。结果显示:

  • 输出 token 减少 49.7%
  • 端到端实际耗时(E2E)降低 51.0%
  • 五任务平均准确率达到 80.58%,与完整 CoT 相当

这组数据说明,早停并未以牺牲正确率为代价,而是切掉了大量冗余步骤。对需要大规模部署 CoT 推理的服务方而言,近一半的 token 和时延节省意味着显著的成本下降。

端到端实际耗时(E2E) 指从请求发出到最终答案返回的墙钟时间,包含模型生成、工具调用往返、网络传输与调度开销,比单纯的 token 计数更贴近真实服务体验。GLOBE 的试探分支与主流程并行执行,因此其探测成本可被生成过程掩盖;这也是其 E2E 降幅(51.0%)略高于 token 降幅(49.7%)的原因之一。

为什么几何视角值得关注

GLOBE 的启发在于把“该不该停”转化为一个可观测的几何问题:推理是否在语义空间中有实质推进,会反映为轨迹的方向性。相比黑盒置信度阈值,这种基于轨迹形状的信号更透明,也更容易在线计算。

当然,单位球面嵌入的质量依赖嵌入模型的选择,阈值设定也可能随任务分布变化,这些是实际落地时需要调校的部分。论文的贡献在于提供了一个训练无关、可插拔的早停框架,为 CoT 推理的效率优化开辟了新思路。

要点回顾

GLOBE 用试探分支加速“答案已现”的判定,用单位球面轨迹识别“原地打转”,在五个基准上实现输出 token 减半、时延减半且精度不降。对于被过度思考困扰的 CoT 部署场景,这是一条值得关注的低成本优化路径。

#GLOBE#思维链早停#CoT 优化#推理效率#语义轨迹#大模型推理成本#在线早停算法
分享:

相关推荐