斯坦福开源HybridAgent：让AI在向量空间思考，省54% token

AI Agent 的「思考过程」一直是个公开的浪费：它把每一步中间推理都写成完整的英文句子，一个 token 一个 token 地吐出来，然后才走到真正有用的那一步——调用工具、执行代码、给出答案。斯坦福、UIUC 和 Together AI 联合发布的一篇论文和开源项目对此提出了质疑：这些「自言自语」从来就不是必需的。

这个项目叫 HybridAgent，思路简单到近乎冒犯：让模型在原始向量空间里思考，只在外部世界需要读取时才切换成文本。消息发布几天后便登上 Hacker News 首页，引发广泛讨论。

核心机制：一次生成，两种模式

多数「高效推理」研究都选择站队——要么在潜空间推理（快，但不透明、不擅长用工具），要么在文本空间推理（慢、耗 token，但可读）。HybridAgent 拒绝二选一，它在同一次生成过程中来回切换。

关键在于一个叫 HybridLink 的小型适配器，它把模型最后一层的隐藏状态直接映射回自己的输入嵌入空间。这绕过了常规瓶颈——解码 token、重新嵌入、再喂回去——让模型可以以纯向量形式「思考」几十步，才决定是否落笔成一个词。

两个特殊 token <latent> 和 </latent> 标记了进入和退出潜空间的「匝道」。标签之外，它就是个普通语言模型，调用工具、阅读搜索结果、撰写回答；标签之内，它把整条思维链压缩成更接近「屏住呼吸」而非「说出句子」的东西。

让怀疑者安心的一点是：这并非默认的黑箱。一个「可解释潜模式」会把每个潜步骤渲染回伪文本，你可以像看 HTML 报告一样观看 HybridAgent 的内部独白——虽有残缺缩写，但可读。在一份公开的追踪记录中，一段 42 步的潜思考被解码成类似「the the speed of speed in air at 20° is about 343... should verify... let me search」的内容——明显是真实思考的残影，而非噪声。

潜空间（latent space） 指模型内部表示的高维向量空间，每个 token 在此被编码为稠密向量。常规语言模型每生成一个 token 都需从该空间解码到词表，再重新嵌入回向量空间，形成“解码-再嵌入”的往返开销。HybridAgent 的 HybridLink 适配器让模型最后一层的隐藏状态直接映射回输入嵌入空间，从而在向量层面连续“思考”，无需经过词表中转。这类似于人类在脑中快速组织思路而不必每步都说出声，显著减少了 token 生成与上下文拼接的计算成本。

训练方式：先学切换，再学何时切换

训练分两阶段。HybridSFT 先教基座模型（基于 Qwen3，8B 和 14B 两个规模）与 HybridLink 协作，掌握模式切换的基本功。随后 HybridRL 接手，学习「何时」使用潜模式才划算，奖励信号包括答案正确性、输出格式和工具调用是否成功。模型并没有被明确要求最小化 token，它自己发现：安静地思考往往更便宜，且同样准确。

强化学习（RL） 在此用于优化策略：模型根据奖励信号调整行为。HybridRL 阶段，奖励包括答案正确性、输出格式合规性和工具调用成功率，模型通过试错学习何时进入潜空间更划算。由于潜空间思考不直接产生 token，常规的 token 级监督信号缺失，RL 成为自然选择——它鼓励模型在能提升最终结果时使用潜模式，而非强制最小化 token。这种设计让模型自主发现“安静思考”的性价比，而非依赖人工设定的 token 预算。

实测数据：省 token 且更准

在覆盖数学、科学、医学、搜索和 Agent 任务的 11 个基准上，跨三个模型规模，HybridAgent 平均比前沿的纯文本 Agent 和纯潜空间 Agent 高出 10.4%，同时 token 用量减少 35.5%–54.7%，速度快 1.8–2.6 倍，成本低 2.7–3.7 倍。

一项消融实验比这些头条数字更值得关注：把模型的潜思考片段替换成来自无关问题的片段，准确率下降 45%–51%。这说明潜思考不是填充物，它在做真正的工作。话说回来，工具调用执行率保持在 99.7% 的可靠水平，效率提升并未以牺牲与外部世界交互为代价。

消融实验（ablation study） 是机器学习中用于验证组件必要性的方法：移除或替换某个模块，观察性能变化。此处将潜思考片段替换为无关问题的潜片段，准确率骤降 45%–51%，直接证明潜空间步骤承载了实质推理，而非随机噪声。这种控制变量设计比整体指标更有说服力，因为它隔离了潜思考的贡献，排除了其他因素（如模型规模或训练数据）的干扰。

上手体验与生态位

代码已在 GitHub 开源（togethercomputer/HybridAgent，MIT 协议），提供可运行的 checkpoint，而不只是一篇论文：

git clone https://github.com/togethercomputer/HybridAgent.git && cd HybridAgent
pip install -r requirements.txt && pip install -e .
cp .env.example .env   # 添加 TAVILY_API_KEY 以使用搜索工具
python -m hybrid_inference.run_batch --model togethercomputer/HybridAgent-8B-Agentic

运行需要 CUDA GPU，Qwen3 分词器已内置锚点 token。

HybridAgent 并非孤例。另一个团队的 LatentMAS 将类似思路用于多智能体系统，在智能体之间传递潜思考，而非在单个智能体内部。HybridAgent 的独特之处在于：单智能体、完全可检查，并且直接放出可用权重，而不只是方法描述。这大概也是它当下在 HN 上获得关注的原因——你可以在周二晚上 git clone 下来跑，而不是对着方法章节从头复现。

真正的新闻不是 Agent 变聪明了，而是它们终于不再假设「更聪明」必然意味着「更多词」。对于任何在真实规模上运行 Agent 流水线的人来说，这正是此前一直在悄悄烧钱的那个指标。