GLOBE:几何引导的推理早停,输出减半不损精度

GLOBE 用无需训练的在线早停,靠试探分支与球面轨迹几何判断 CoT 何时该停。
文章介绍了一种名为 GLOBE 的无需训练在线早停算法,用于缓解大模型思维链中的"过度思考"问题。GLOBE 采用双阶段机制:先在独立分支生成简短试探答案,置信度超阈值即停止主流程;若未通过,则将推理片段嵌入单位球面形成语义轨迹,当轨迹反复改变方向、净进展很小时判定陷入僵局并终止生成。在五个覆盖数学推理、工具调用与智能体记忆的基准上,GLOBE 实现输出 token 减少 49.7%、端到端时延降低 51.0%,平均准确率 80.58% 与完整 CoT 持平。文章认为,几何轨迹信号比单步置信度更透明、更易在线计算,为 CoT 推理效率优化提供了低成本可插拔路径。
思维链(CoT)能提升大模型解题能力,但模型常在答案已可达后继续“过度思考”,既增加推理成本,又可能把正确中间结果改错。针对这一痛点,研究者提出 GLOBE——一种无需训练的在线早停算法,通过分析语义轨迹的几何形状来判断何时停止生成。

过度思考:CoT 的隐性成本
CoT 通过让模型生成中间步骤来提升复杂任务表现,但并非步数越多越好。论文指出,模型往往在正确答案已经可达时仍继续生成,这些额外步骤直接推高服务成本;更微妙的是,后续步骤可能覆盖掉原本正确的中间结果,反而拉低准确率。
现有早停方法多依赖答案置信度或固定启发式规则,缺乏对推理过程整体走向的刻画。GLOBE 的切入点不同:它不只看单步置信度,而是把推理片段映射到单位球面上,观察整条语义轨迹的“形状”。
思维链(Chain-of-Thought, CoT) 是一种提示与推理范式:让模型在给出最终答案前,显式生成一系列中间推理步骤,从而把复杂问题分解为可管理的子问题。Wei 等人于 2022 年提出的这一方法在数学应用题、符号推理和多跳问答上显著提升了准确率,并衍生出零样本 CoT、自洽性投票(Self-Consistency)等变体。CoT 的代价是推理时生成的 token 数量成倍增长,因此"何时停止"成为推理效率优化的核心问题之一。
单位球面嵌入 是 GLOBE 轨迹分析的基础:将每一段推理文本通过嵌入模型映射为高维向量后,再做 L2 归一化,使其落在半径为 1 的单位球面上。归一化消除了向量模长的影响,使相似度可由内积或余弦距离直接度量;轨迹上相邻点之间的方向变化(夹角)因此成为衡量"语义是否推进"的直观指标。
两阶段机制:先试探,再看轨迹
GLOBE 的核心是一个双阶段在线控制流程,全程无需额外训练。
试探阶段:分支生成短答案
算法先在独立分支中生成简短的试探性答案,并与主生成流并行。若试探答案的置信度超过设定阈值,主流程立即停止并采纳该答案。这一步用低成本探测“当前是否已经足够解题”。
若试探未通过,生成继续进行,进入轨迹阶段。
轨迹阶段:识别方向反转
GLOBE 将每个完成的推理片段嵌入为单位球面上的一个点,随着片段累积形成一条语义轨迹。当这条路径反复改变方向、净进展很小时,算法判定推理已进入“原地打转”状态,随即终止生成。这种几何信号比单纯看置信度更贴近推理的实际行为模式。
两阶段结合,使 GLOBE 既能抓住“答案已现”的时刻,也能识别“继续想也没用”的僵局。
语义轨迹的方向反转 指相邻推理片段的嵌入向量在球面上夹角接近或超过 90 度,即后一片段不再沿前一阶段的方向推进。若在连续多个片段上累计方向变化大而净位移小,说明推理在高维语义空间中绕圈而非前进。这一判据与"净进展"结合使用,可以区分"合理回溯验证"与"无效重复":前者通常伴随净位移的持续累积,后者则表现为位移停滞。
实验结果:token 减半,精度持平
论文在五个基准上评估 GLOBE,覆盖数学推理、工具调用和智能体记忆等任务,并在两个模型上验证。结果显示:
- 输出 token 减少 49.7%
- 端到端实际耗时(E2E)降低 51.0%
- 五任务平均准确率达到 80.58%,与完整 CoT 相当
这组数据说明,早停并未以牺牲正确率为代价,而是切掉了大量冗余步骤。对需要大规模部署 CoT 推理的服务方而言,近一半的 token 和时延节省意味着显著的成本下降。
端到端实际耗时(E2E) 指从请求发出到最终答案返回的墙钟时间,包含模型生成、工具调用往返、网络传输与调度开销,比单纯的 token 计数更贴近真实服务体验。GLOBE 的试探分支与主流程并行执行,因此其探测成本可被生成过程掩盖;这也是其 E2E 降幅(51.0%)略高于 token 降幅(49.7%)的原因之一。
为什么几何视角值得关注
GLOBE 的启发在于把“该不该停”转化为一个可观测的几何问题:推理是否在语义空间中有实质推进,会反映为轨迹的方向性。相比黑盒置信度阈值,这种基于轨迹形状的信号更透明,也更容易在线计算。
当然,单位球面嵌入的质量依赖嵌入模型的选择,阈值设定也可能随任务分布变化,这些是实际落地时需要调校的部分。论文的贡献在于提供了一个训练无关、可插拔的早停框架,为 CoT 推理的效率优化开辟了新思路。
要点回顾
GLOBE 用试探分支加速“答案已现”的判定,用单位球面轨迹识别“原地打转”,在五个基准上实现输出 token 减半、时延减半且精度不降。对于被过度思考困扰的 CoT 部署场景,这是一条值得关注的低成本优化路径。
相关推荐

零成本搭建AI超级员工系统:智能体自动工作流全解析
深度拆解B站演示的AI超级员工系统:Agent智能体编排、数字人口播、地图与企业获客、24小时智能客服及法务模块全覆盖。分析零成本开户背后的商业逻辑与合规风险,帮助创业者判断这套AI数字员工系统的真实投产比。

Chatbot与AI Agent的本质区别:从对话到执行的跨越
Chatbot和AI Agent有什么区别?本文基于Learn Tech频道的MCP系列讲解,用订机票、笔记摘要等实例说明:Chatbot只给答案,Agent通过思考-行动-观察循环真正完成任务,并拆解模型、工具、记忆、目标四大部件及MCP的桥梁作用,同时讨论Agent的适用边界与权限风险。

免费GitHub仓库:342小时AI课程,从数学到MCP服务器
一个免费GitHub仓库提供342小时AI课程,包含523节课、20个阶段,覆盖数学基础到Agent构建和MCP服务器。支持目标驱动学习,每节课产出可留存的prompt、skill或agent,已有近10万人开始学习。